Олон багуудын хувьд хиймэл оюун ухааны гарцын талаарх хамгийн эхний асуулт бол "юу хийж чадах вэ" биш, харин "хаана ажилладаг вэ" юм. Хэрэв та зохицуулалттай салбарт ажилладаг, мэдрэмтгий өгөгдөл боловсруулдаг эсвэл зүгээр л хэн нэгний үүлэн технологиор дамжуулан бүх хүсэлт, хариултыг илгээхэд харшилтай бол хостлогдсон SaaS гарц нь хичнээн боловсронгуй байсан ч гэсэн эхлэл биш юм. Та өөрийн дэд бүтэц дотор ажиллуулж, шалгаж, хянаж чадах зүйлийг хүсч байна.
Сайн мэдээ гэвэл энэ зах зээлийн нээлттэй эх үүсвэртэй, өөрөө байршуулах боломжтой хэсэг үнэхээр хүчирхэгжсэн. Хиймэл оюун ухааны гарц нь таны програмууд болон загвар үйлчилгээ үзүүлэгчдийн хоорондох хяналтын хавтгай бөгөөд чиглүүлэлт, найдвартай байдал, аюулгүй байдал, зардлыг нэг дор зохицуулдаг бөгөөд одоо хамгийн шилдэг хэд хэдэн програмыг та өөрөө байршуулж болох програм хангамж болгон худалдаанд гаргадаг. Өөрөө байршуулах нь зайлшгүй шаардлага болохоос биш байх нь сайхан зүйл биш гэдгийг энд харуулав.
"Өөрийгөө зочлох" гэдэг нь үнэндээ юу гэсэн үг вэ
Жагсаалтын өмнө урхины талаар товчхон өгүүлье. “Нээлттэй эх сурвалж” болон “өөрөө байршуулах боломжтой” гэдэг нь ижил зүйл биш бөгөөд танд хэрэгтэй функц үнэгүй хувилбарт байгаа эсэхийг баталгаажуулдаггүй. Зарим төслүүд нь хурдан чиглүүлэлтийн цөмийг нээлттэй эх сурвалжаар хангадаг боловч засаглал, ажиглагдахуйц хадгалалт, олон багийн хандалтын хяналтыг төлбөртэй түвшинд байлгадаг. Тиймээс гурван зүйлийг тусад нь үнэлээрэй: програм хангамж нь таны өөрийн орчинд ажиллаж байгаа эсэх, танд хэрэгтэй тодорхой чадварууд нь таны өөрөө байршуулах боломжтой хувилбарт байгаа эсэх, өгөгдөл таны дэд бүтцэд үнэхээр байгаа эсэх. Энэ өнцгөөс харахад эдгээр таван хувилбарыг хэрхэн харьцуулж байгааг энд харуулав.
1. TrueFoundry — таны өөрийн үүлэн дотор ажиллуулдаг байгууллагын удирдлагын хавтгай
TrueFoundry нь багуудыг өөрөө байршуулах боломжийг түлхдэг яг ийм хязгаарлалтад зориулагдсан тул энэ жагсаалтыг тэргүүлж байна: байгууллагын чадавхийг орхилгүйгээр өгөгдлийг өөрийн орчинд хадгалах. Үүний хиймэл оюун ухааны гарц нь таны өөрийн үүлэн технологи эсвэл VPC дотор байрладаг тул мөр болон мөрүүд нь таны дэд бүтцийн бүс нутагт бүс нутгаар хадгалагдахын зэрэгцээ 1,000+ загварт зориулсан OpenAI-тэй нийцтэй ганц интерфэйс, ачааллын тэнцвэржүүлэлт болон нөөц боломжууд, бүрэн хамгаалалтын багц, дүрд суурилсан хандалт, төсөв, OpenTelemetry ажиглалт зэрэг боломжийг танд олгоно.
Энэ нь цэвэр проксигоос илүү өргөн хүрээг хамардаг. TrueFoundry нь MCP серверүүд болон агентуудыг ижил хяналтын хавтгайгаар удирддаг бөгөөд түүний агентын бэхэлгээ болох TrueForge нь нээлттэй эх сурвалжтай бөгөөд үйлдвэрлэгчээс төвийг сахисан тул таны шалгаж, өргөтгөхийг хүссэн хэсгүүд нь нээлттэй байх бөгөөд платформ өөрөө танд хэрэгтэй газарт ажиллаж байна. Нээлттэй эх сурвалжтай төслийн өөрөө байршуулах байр суурийг хүсдэг боловч байгууллагын платформын гүн гүнзгий байдал, дэмжлэгийг хүсдэг багуудын хувьд энэ бол өөр газраас олоход хэцүү хослол юм. Жишээлбэл, FloQast нь АНУ, Европын Холбоо, Ази, Номхон далайн бүс нутгуудад санхүүгийн өгөгдлийг хадгалахын тулд үүнийг бүхэлд нь өөрийн үүлэн дотор ажиллуулдаг бөгөөд та үүнийг TrueFoundry-ийн AI Gateway баримт бичиг , кейс судалгаанаас уншиж болно.
Хамгийн тохиромжтой нь: гарцыг өөрсдөө ажиллуулахын зэрэгцээ өгөгдлийн оршин суух болон бүрэн засаглал шаардлагатай аж ахуйн нэгжүүдэд. Анхаарна уу: энэ нь баялаг платформ тул таван минутын суулгалт хүлээхийн оронд нэвтрүүлэх ажлаа төлөвлөөрэй.
2. Portkey — хурдан, алдартай нээлттэй эхийн чиглүүлэлтийн цөм
Portkey нь MIT лицензийн дагуу нээлттэй эхийн гарцыг ашигласан бөгөөд гол цөм нь үнэхээр сайн инженерчлэл юм: хөнгөн жинтэй, маш бага нэмэлт сааталтай, нэгдсэн хашлагатай том загварын каталог руу чиглүүлэлт хийдэг, мөн өөрөө байрлуулсан контейнер болгон ажиллуулахад хялбар. Хэрэв та батлагдсан нээлттэй эхийн проксиг ашиглахыг хүсвэл энэ нь сайн шалтгаантай хамгийн алдартай эхлэх цэгүүдийн нэг юм.
Анхааруулга нь үнэгүй болон төлбөртэй хувилбаруудын хоорондох зааг юм. Өөрөө байршуулсан хувилбар нь чиглүүлэлт болон найдвартай байдлын давхаргыг өгдөг боловч ажиглалтын хадгалах сан болон хянах самбар, олон багийн үүрэгт суурилсан хандалт, том хэмжээний семантик кэш, байгууллагын дэмжлэг нь хостлогдсон хувилбар эсвэл байгууллагын түвшинд байрладаг. Тиймээс энэ нь чиглүүлэгчтэй адил өөрөө байршуулдаг; бүрэн засаглалын стек нь ихэвчлэн төлбөртэй төлөвлөгөө гэсэн үг юм.
Хамгийн тохиромжтой нь: туранхай, өөрөө зохион байгуулагддаг чиглүүлэлтийн давхарга хүсдэг багуудад. Анхаарна уу: стандартчилахаасаа өмнө нээлттэй бүтцэд ямар засаглалын функцууд ажиллаж байгааг баталгаажуулна уу.
3. Envoy AI Gateway — CNCF-ийн дэмжлэгтэй нээлттэй стандарт
Envoy AI Gateway нь CNCF-ийн Envoy Gateway төслийг хиймэл оюун ухааны урсгалын уугуул дэмжлэгтэйгээр өргөжүүлж, 2026 онд тогтвортой 1.0 түвшинд хүрсэн. Tetrate болон Bloomberg-ийн хамтран бүтээж, засвар үйлчилгээ хийдэг энэ нь CNCF-ийн дэмжлэгтэй анхны нээлттэй эхийн хиймэл оюун ухааны гарц бөгөөд хэрэв та үйлдвэрлэгчээс төвийг сахисан засаглал болон ганц арилжааны үйлдвэрлэгчийн хяналтанд байдаггүй төслийг анхаарч үзвэл энэ нь чухал юм.
Энэ нь гол загварын үйлчилгээ үзүүлэгчдэд OpenAI-тэй нийцтэй интерфэйс, мөн чат, оруулга болон бусад төгсгөлийн цэгүүдэд чиглүүлэлт, алдааны овер болон OpenTelemetry GenAI-г хянах боломжийг олгодог. Bloomberg үүнийг аль хэдийн үйлдвэрлэлд хэрэгжүүлж байна. Үүний давуу тал нь дэд бүтцийн түвшний програм хангамж юм: хүчирхэг, стандартад нийцсэн боловч Envoy болон Kubernetes-ийг багийнхан ашиглахад тухтай байх ёстой бөгөөд өндөр түвшний тохь тух нь удирддаг платформоос илүү өөрөө хийх боломжтой байдаг.
Хамгийн тохиромжтой нь: CNCF стандартын дагуу, бүрэн хянадаг Envoy дээр суурилсан гарцыг хүсдэг платформ багуудад. Анхааруулга: Envoy болон Kubernetes-ийн шаарддаг үйл ажиллагааны мэргэжлийн ур чадварт зориулсан төсөв.
4. Higress — өндөр хэмжээний, хиймэл оюун ухаанд суурилсан нээлттэй эхийн гарц
Higress нь Alibaba дотроос эхэлсэн бөгөөд Apache-2.0 дээр нээлттэй эхийн хувилбараар хийгдсэн бөгөөд Istio болон Envoy дээр суурилагдсан. Энэ нь өргөн хүрээтэй тулалдаанд туршиж үзсэн бөгөөд үйлдвэрлэлийн баталгаажуулалт нь секундэд хэдэн зуун мянган хүсэлтийг боловсруулж, тохиргооны өөрчлөлтүүд нь тасалдал үүсгэдэг дахин ачааллыг албадахын оронд миллисекундын дотор хүчин төгөлдөр болдог.
Хиймэл оюун ухааны талаасаа энэ нь гол загварын үйлчилгээ үзүүлэгчдийг дэмждэг, агентууд хэрэгслүүдийг дуудах боломжтой болгохын тулд залгаасын механизмаараа дамжуулан MCP серверүүдийг байршуулж чаддаг бөгөөд WAF болон олон төрлийн баталгаажуулалтын стратегийн хамт LLM болон MCP API-уудын нэгдсэн менежментийг хангадаг. Хэрэв түүхий гүйцэтгэл болон батлагдсан өндөр хүчин чадалтай цөм нь таны тэргүүлэх чиглэл бол энэ нь маш сайн сонголт юм. Бусад дэд бүтцийг нэн тэргүүнд тавьсан төслүүдийн нэгэн адил өндөр түвшний засаглал болон бүтээгдэхүүний өнгөлгөө нь тусгай зориулалтын байгууллагын платформоос хөнгөн бөгөөд олон нийтийн хүндийн төв нь зарим барууны багуудад тийм ч танил биш байж магадгүй юм.
Хамгийн тохиромжтой нь: өндөр хүчин чадалтай, бүрэн нээлттэй эхийн хиймэл оюун ухаанд суурилсан гарц хэрэгтэй багуудад. Анхаарна уу: та засаглалын давхаргын илүү ихийг өөрөө угсарна.
5. Gloo AI Gateway — Envoy дээр суурилсан бөгөөд Kubernetes-д суурилсан
Solo.io-ийн Gloo AI Gateway нь боловсорсон Envoy болон Kubernetes-ийн уугуул гарц дээр үндэслэн хиймэл оюун ухааны урсгалын менежментийг бүтээдэг. Энэ нь LLM урсгалын тодорхой хэрэгцээг чиглүүлдэг: семантик кэш, токен дээр суурилсан хурдны хязгаарлалт, шуурхай баяжуулалт, Kubernetes нууцаар дамжуулан итгэмжлэл оруулах, нууц мэдээлэл алдагдахгүйн тулд өгөгдөл гадагшлуулах хамгаалалт. Solo.io нь нээлттэй эхийн гарцаа CNCF-д (kgateway нэртэйгээр) хандивласан тул жинхэнэ нээлттэй цөм бий болсон.
Энэ жагсаалтын нарийн ялгаа нь энэ жагсаалтын хэв маягийг тусгасан байдаг: токен дээр суурилсан хурдны хязгаарлалт гэх мэт LLM-д хамаарах зарим боломжууд нь ихэвчлэн чөлөөт цөм биш харин байгууллагын лицензийн нэг хэсэг байдаг. Хэрэв та аль хэдийн Kubernetes ажиллуулж байгаа бөгөөд хиймэл оюун ухааны урсгалыг нэгдүгээр зэрэглэлийн иргэн гэж үздэг Envoy дээр суурилсан гарц хүсч байвал танд хэрэгтэй функцуудыг зөв түвшинд буулгасан л бол энэ нь танд маш сайн тохирно.
Хамгийн тохиромжтой нь: Kubernetes-ийн ажил ихтэй багуудад хиймэл оюун ухааны урсгалын онцлогтой Envoy дээр суурилсан гарц хэрэгтэй. Анхаарна уу: аль LLM функцууд нь энтерпрайз хувилбарыг шаарддагийг шалгана уу.
Хэрхэн сонгох
Хэрэв та цэвэр нээлттэй эхийн төслийг өөрөө ажиллуулж, ажиллуулахыг хүсч байвал Envoy AI Gateway болон Higress нь танд стандартад нийцсэн, өндөр гүйцэтгэлтэй цөмүүдийг өгөх бөгөөд хэрэв та Envoy on Kubernetes-т аль хэдийн итгэлтэй байгаа бол Gloo бол хүчтэй сонголт юм. Хэрэв та түвшний хил хязгаарыг хүлээн зөвшөөрвөл Portkey бол чиглүүлэлтийн давхаргыг өөрөө байршуулах хамгийн хялбар арга юм. Хэрэв танд үнэхээр хэрэгтэй зүйл бол өгөгдөл бүрэн байгууллагын засаглал, түүний ард дэмжлэгтэйгээр өөрийн үүлэн дотор үлдэх юм бол TrueFoundry бол засаглалын стекийг өөрөө бүтээхийг танаас шаардахгүйгээр өөрөө байршуулах байрлалыг өгөх сонголт юм.
доод шугам
Хиймэл оюун ухааны гарцыг өөрөө байршуулах нь өмнө нь функцуудыг хяналтандаа өгөх гэсэн үг байсан. 2026 онд энэ нь үнэн биш болсон: та CNCF-ээр дэмжигдсэн нээлттэй стандарт, өндөр хүчин чадалтай хиймэл оюун ухааны төрөлх цөм эсвэл өөрийн орчинд ажилладаг бүрэн удирдлагатай байгууллагын платформ авах боломжтой. Зөв сонголт нь та хэр их өөрийгөө ажиллуулахыг хүсч байгаагаас болон хэр их засаглалыг хайрцагнаас гаргахыг хүсч байгаагаас хамаарна. Хяналт болон гүнзгий байдлыг хоёуланг нь хүсдэг багуудын хувьд TrueFoundry бол ялах ёстой баг юм.
