Ho lihlopha tse ngata, potso ea pele mabapi le heke ea AI ha se "e ka etsang" empa ke "e sebetsa hokae." Haeba u indastering e laoloang, u sebetsana le lintlha tse hlokolosi, kapa u na le alejiki feela ho romelleng potlako le karabelo e 'ngoe le e 'ngoe ka leru la motho e mong, heke ea SaaS e tšoaretsoeng ha e qale ho sa tsotelehe hore na e ntlafalitsoe hakae. U batla ho hong hoo u ka ho tsamaisang ka har'a meralo ea hau ea motheo, u ho hlahloba le ho ho laola.
Litaba tse monate ke hore qetello ea 'maraka ona ea mohloli o bulehileng le o ikemetseng e matlafetse e le kannete. Khoro ea AI ke sebaka sa taolo pakeng tsa lits'ebetso tsa hau le bafani ba hau ba mohlala, ho sebetsana le litsamaiso, ts'epo, ts'ireletso le litšenyehelo sebakeng se le seng, 'me tse ling tsa tse ntle ka ho fetisisa tse romelloang e le software eo u ka e amohelang. Mona ke tse hlano tse lokelang ho khethoa ha ho itlhokomela e le tlhoko, eseng ntho e monate ho ba le eona.
Seo "ho itlhokomela" ho lokelang ho se bolela
Pele ho lenane, lentsoe le lekhutšoanyane ka leraba. "Mohloli o bulehileng" le "o ikemetseng" ha se ntho e le 'ngoe, 'me ha ho le e 'ngoe ea tsona e tiisang hore tšobotsi eo u e hlokang e ka har'a moaho o lokolohileng. Merero e meng e bula mohloli oa motheo o potlakileng oa ho tsamaisa empa e boloka puso, polokelo ea ho shebella, le taolo ea phihlello ea lihlopha tse ngata maemong a lefshoang. Kahoo hlahloba lintho tse tharo ka thoko: hore na software e sebetsa tikolohong ea hau, hore na bokhoni bo itseng boo u bo hlokang bo ka har'a mofuta oo u ka o amohelang, le hore na data e lula meralong ea hau ea motheo ho isa qetellong. Ka lense eo, mona ke kamoo tsena tse hlano li bapisoang kateng.
1. TrueFoundry — sefofane sa taolo ya kgwebo seo o se tsamaisang lerung la hao
TrueFoundry e etella pele lenane lena hobane e hahiloe bakeng sa thibelo e sutumelletsang lihlopha ho itlhokomela: ho boloka data tikolohong ea hau ntle le ho tela bokhoni ba khoebo. AI Gateway ea eona e sebetsa ka har'a leru la hau kapa VPC, kahoo litlhahiso le mesaletsa li lula sebakeng sa hau sa meralo ea motheo ka sebaka, ha li ntse li u fa sebopeho se le seng se lumellanang le OpenAI ho mehlala e fetang 1,000, ho leka-lekanya mojaro le ho khutlela morao, suite e felletseng ea li-guardrails, phihlello e thehiloeng ho karolo, lichelete, le ho bonoa ha OpenTelemetry.
E boetse e fihla hole ho feta proxy e hloekileng. TrueFoundry e laola li-server tsa MCP le baemeli ka sefofane se le seng sa taolo, 'me sesebelisoa sa eona sa moemeli, TrueForge, ke mohloli o bulehileng 'me ha se nke lehlakore ho morekisi, kahoo likarolo tseo u ka batlang ho li hlahloba le ho li atolosa li bulehile ha sethala ka bosona se ntse se sebetsa moo u se hlokang. Bakeng sa lihlopha tse batlang boemo ba ho itlhokomela ba projeke ea mohloli o bulehileng empa botebo le tšehetso ea sethala sa khoebo, ena ke motsoako o thata ho o fumana libakeng tse ling. FloQast, mohlala, e e tsamaisa ka botlalo ka har'a leru la eona ho boloka data ea lichelete e lula libakeng tsohle tsa US, EU le APAC, tseo u ka li balang litokomaneng tsa TrueFoundry's AI Gateway le lithutong tsa linyeoe.
E loketseng bakeng sa: likhoebo tse hlokang bolulo ba data le tsamaiso e felletseng ha li ntse li tsamaisa heke ka botsona. Hlokomela: ke sethala se ruileng, kahoo rera ho qala ho e-na le ho lebella ho kenya metsotso e mehlano.
2. Portkey — setsi sa ho tsamaisa melaetsa se potlakileng le se tsebahalang sa mohloli o bulehileng
Portkey e butse khoro ea eona tlas'a laesense ea MIT, 'me karolo ea mantlha ke karolo e ntle ea boenjiniere: e bobebe, e nang le nako e tlase haholo, e fetisetsang ho lethathamo le leholo la mehlala le nang le li-guardrails tse kopaneng, 'me ho bonolo ho e tsamaisa joalo ka setshelo seo u se amohelang. Haeba u batla proxy e pakiloeng ea mohloli o bulehileng eo u ka e hahelang, ke e 'ngoe ea libaka tse tsebahalang haholo tsa ho qala ka lebaka le utloahalang.
Tlhokomeliso ke moo moeli o oelang pakeng tsa mahala le tefo. Kaho e ikemetseng e u fa mokhoa oa ho tsamaisa le ho tšepahala, empa polokelo ea ho shebella le li-dashboard, phihlello e thehiloeng ho karolo ea lihlopha tse ngata, ho boloka semantic ka tekanyo e kholo, le tšehetso ea likhoebo li lutse boemong ba ho tsamaisoa kapa ba likhoebo. Kahoo e itlhokomela hantle joaloka router; stack e felletseng ea puso hangata e bolela moralo o lefshoang.
E loketseng bakeng sa: lihlopha tse batlang lera la ho tsamaisa le sa tebang, le ikemetseng. Ela hloko: netefatsa hore na ke likarolo life tsa puso tse phelang ka har'a moaho o bulehileng pele o li etsa hore li be maemong a tloaelehileng.
3. Envoy AI Gateway — tekanyetso e bulehileng e tshehetswang ke CNCF
Envoy AI Gateway e atolosa projeke ea Envoy Gateway ea CNCF ka tšehetso ea tlhaho bakeng sa sephethephethe sa AI, 'me e fihlile ho 1.0 e tsitsitseng ka 2026. E thehiloe le ho hlokomeloa ke Tetrate hammoho le Bloomberg, ke heke ea pele ea AI e bulehileng e tšehetsoang ke CNCF, e leng ea bohlokoa haeba u tsotella puso e sa nke lehlakore ea barekisi le projeke e sa laoloeng ke morekisi a le mong oa khoebo.
E fana ka sebopeho se lumellanang le OpenAI ho bafani ba mehlala ba ka sehloohong, hammoho le ho latela routing, failover, le OpenTelemetry GenAI ho pholletsa le moqoqo, li-embeddings le li-endpoints tse ling. Bloomberg e se e ntse e e tsamaisa tlhahisong. Phapang ke hore software ea eona ea maemo a motheo: e matla ebile e tsamaellana le maemo, empa e lebeletse sehlopha se sebetsang hantle sa Envoy le Kubernetes, 'me boiketlo ba maemo a holimo bo etsoa ka boiketsetso ho feta sethaleng se laoloang.
E loketseng bakeng sa: lihlopha tsa sethala tse batlang heke e tloaelehileng ea CNCF, e thehiloeng ho Envoy eo ba e laolang ka botlalo. Hlokomela: tekanyetso ea boiphihlelo ba ts'ebetso boo Envoy le Kubernetes ba bo hlokang.
4. Higress — kgoro e bulehileng ya mohlodi o moholo, wa tlhaho wa AI
Higress e qalile ka hare ho Alibaba, e ne e bulehile tlas'a Apache-2.0, 'me e hahiloe holim'a Istio le Envoy. E lekiloe ka tekanyo e kholo, ka netefatso ea tlhahiso e sebetsanang le likopo tse makholo a likete ka motsotsoana le liphetoho tsa tlhophiso tse sebetsang ka li-millisecond ho fapana le ho qobella ho kenya hape lintho tse sitisang.
Ka lehlakoreng la AI, e tšehetsa bafani ba mehlala ba ka sehloohong, e ka amohela li-server tsa MCP ka mokhoa oa eona oa li-plugin e le hore baemeli ba ka letsetsa lisebelisoa, 'me e fana ka tsamaiso e kopaneng bakeng sa LLM le MCP APIs, hammoho le WAF le maano a mangata a netefatso. Ke khetho e ntle haeba ts'ebetso e tala le motheo o pakiloeng oa phallo e phahameng e le lintho tsa bohlokoa ho uena. Joalo ka merero e meng ea mantlha ea meralo ea motheo, puso ea boemo bo holimo le polish ea lihlahisoa li bobebe ho feta sethala se inehetseng sa khoebo, 'me setsi sa sechaba sa matla a khoheli se kanna sa se tloaelehe haholo ho lihlopha tse ling tsa Bophirimela.
Molemo bakeng sa: lihlopha tse hlokang heke ea AI e nang le tlhahiso e phahameng, e bulehileng ka botlalo. Ela hloko: u tla bokella karolo e eketsehileng ea lera la puso ka bouena.
5. Gloo AI Gateway — E thehiloe ho Envoy le ho tsoa ho Kubernetes
Gloo AI Gateway, e tswang ho Solo.io, e haha taolo ya sephethephethe sa AI hodima kgoro e hodileng ya Envoy le Kubernetes. E shebana le ditlhoko tse ikgethang tsa sephethephethe sa LLM: ho boloka semantic, ho fokotsa sekgahla se thehilweng hodima token, ho ntlafatsa kapele, ho kenya mangolo ka diphiri tsa Kubernetes, le tshireletso ya ho ntsha data ho thibela tlhahisoleseding e hlokolosi hore e se ke ya dutla. Solo.io e fane ka kgoro ya yona ya mohlodi o bulehileng ho CNCF (jwalo ka kgateway), kahoo ho na le motheo o bulehileng wa nnete.
Ntlha ena e bonts'a mohlala o lenaneng lena: tse ling tsa bokhoni bo ikhethileng ba LLM, joalo ka ho fokotsa sekhahla se thehiloeng ho token, hangata ke karolo ea laesense ea khoebo ho fapana le motheo o lokolohileng. Haeba u se u ntse u tsamaisa Kubernetes 'me u batla heke e thehiloeng ho Envoy e nkang sephethephethe sa AI e le moahi oa sehlopha sa pele, e loketse hantle ha feela u ntse u 'mapa oa likarolo tseo u li hlokang ho ea boemong bo nepahetseng.
Molemo ka ho fetisisa bakeng sa: Lihlopha tse ngata tsa Kubernetes tse batlang heke e thehiloeng ho Envoy e nang le likarolo tsa sephethephethe sa AI. Hlokomela: hlahloba hore na ke likarolo life tsa LLM tse hlokang khatiso ea khoebo.
Tsela ea ho khetha
Haeba o batla projeke e hloekileng ea mohloli o bulehileng hore e sebetse le ho sebetsa ka bouena, Envoy AI Gateway le Higress li u fa li-cores tse lumellanang le maemo, tse sebetsang hantle, 'me Gloo ke khetho e matla ha u se u ikemiselitse ho Envoy ho Kubernetes. Portkey ke tsela e bobebe ka ho fetisisa ea ho itlhokomela ka lera la ho tsamaisa, ha feela u amohela meeli ea maemo. 'Me haeba seo u hlileng u se hlokang ke data e lulang lerung la hau ka puso e felletseng ea khoebo le tšehetso e ka morao ho eona, TrueFoundry ke khetho e u fang boemo ba hau ntle le ho u kopa hore u iketsetse sethala sa puso.
Ntlha ea bohlokoa
Ho itlhokomela ka bohona ho ne ho bolela ho tela dibopeho bakeng sa taolo. Ka 2026 seo ha se sa le nnete: o ka fumana maemo a bulehileng a tshehetswang ke CNCF, motheo o phahameng wa AI, kapa sethala sa kgwebo se laolwang ka botlalo se sebetsang tikolohong ya hao. Kgetho e nepahetseng e itshetlehile hodima hore na o batla ho sebetsa hakae ho fapana le hore na o batla puso e kae ntle le ho kena. Bakeng sa dihlopha tse batlang taolo le botebo, TrueFoundry ke yona e lokelang ho hlola.
