Pou anpil ekip, premye kesyon sou yon pòtay IA se pa "kisa li ka fè" men "ki kote li fonksyone." Si w ap travay nan yon endistri reglemante, k ap jere done sansib, oswa tou senpleman ou fè alèji ak voye chak envit ak repons atravè nwaj yon lòt moun, yon pòtay SaaS ki òganize pa itil menm si li byen fini. Ou vle yon bagay ou ka fonksyone andedan pwòp enfrastrikti w la, enspekte l epi kontwole l.
Bon nouvèl la se ke pati mache sous ouvè a ak oto-hébergement la vin vrèman fò. Yon pòtay IA se plan kontwòl ant aplikasyon ou yo ak founisè modèl ou yo, li jere routage, fyab, sekirite, ak pri nan yon sèl kote, epi plizyè nan pi bon yo kounye a disponib kòm lojisyèl ou ka òganize tèt ou. Men senk ki vo yon lis final lè oto-hébergement se yon egzijans, pa yon bagay ki bon pou genyen.
Ki sa "oto-òbitab" ta dwe reyèlman vle di
Anvan lis la, yon ti mo rapid sou pyèj la. "Sous ouvè" ak "oto-òganize" pa menm bagay, epi ni youn ni lòt pa garanti ke fonksyonalite ou bezwen an nan vèsyon gratis la. Gen kèk pwojè ki oto-òganize yon nwayo routaj rapid men ki kenbe gouvènans lan, depo obsèvabilite a, ak kontwòl aksè milti-ekip nan yon nivo peye. Kidonk, evalye twa bagay separeman: si lojisyèl la ap fonksyone nan pwòp anviwònman ou, si kapasite espesifik ou bezwen yo nan vèsyon ou ka oto-òganize a, epi si done yo aktyèlman rete nan enfrastrikti ou bout a bout. Avèk lantiy sa a, men kijan senk bagay sa yo konpare.
1. TrueFoundry — plan kontwòl antrepriz ou itilize nan pwòp nwaj ou a
TrueFoundry an tèt lis sa a paske li te bati egzakteman pou kontrent ki pouse ekip yo nan direksyon oto-hébergement: kenbe done yo nan pwòp anviwònman ou san ou pa abandone kapasite antrepriz la. AI Gateway li a deplwaye andedan pwòp nwaj ou oswa VPC ou, kidonk envit ak tras yo rete nan rejyon enfrastrikti ou pa rejyon, pandan y ap toujou ba ou yon sèl koòdone konpatib ak OpenAI pou plis pase 1,000 modèl, balans chaj ak solisyon rezèv, yon seri konplè guardrails, aksè ki baze sou wòl, bidjè, ak obsèvasyon OpenTelemetry.
Li rive pi lwen pase yon senp proxy. TrueFoundry gouvène sèvè ak ajan MCP yo atravè menm plan kontwòl la, epi ekipaj ajan li a, TrueForge, se sous ouvè epi li pa gen rapò ak vandè, kidonk pati ou ta vle enspekte ak pwolonje yo ouvè pandan platfòm nan li menm ap fonksyone kote ou bezwen li. Pou ekip ki vle pozisyon oto-hébergement yon pwojè sous ouvè men pwofondè ak sipò yon platfòm antrepriz, sa a se konbinezon ki difisil pou jwenn yon lòt kote. Pa egzanp, FloQast fè li fonksyone antyèman andedan pwòp nwaj li pou kenbe done finansye yo rezidan atravè rejyon Etazini, Inyon Ewopeyen ak APAC yo, sa ou ka li nan dokimantasyon ak etid ka AI Gateway TrueFoundry a .
Pi bon pou: antrepriz ki bezwen rezidans done ak gouvènans konplè pandan y ap jere pòtay la tèt yo. Atansyon: se yon platfòm rich, kidonk planifye deplwaman an olye pou w espere yon enstalasyon senk minit.
2. Portkey — yon nwayo routaj sous louvri rapid ak popilè
Portkey te louvri pòtay li a anba yon lisans MIT, epi nwayo a se yon bon pyès enjenyèri vre: lejè, latans ajoute ki ba anpil, routage nan yon gwo katalòg modèl ak balistrad entegre, epi fasil pou itilize kòm yon kontenè ou menm ou òganize. Si ou vle yon proxy sous louvri ki pwouve efikasite li pou konstwi sou li, li se youn nan pwen depa ki pi popilè yo pou yon bon rezon.
Avètisman an se kote liy lan tonbe ant gratis ak peye. Sistèm oto-hébergement la ba ou kouch routage ak fyab, men depo obsèvasyon ak tablodbò yo, aksè ki baze sou wòl pou plizyè ekip, kach semantik sou gwo echèl, ak sipò antrepriz la chita nan nivo oto-hébergement la oswa antrepriz la. Kidonk, li oto-hébergement byen kòm yon routeur; yon pil gouvènans konplè anjeneral vle di plan peye a.
Pi bon pou: ekip ki vle yon kouch routaj lejè, ki òganize poukont li. Atansyon: konfime ki karakteristik gouvènans ki nan vèsyon ouvè a anvan ou estandadize li.
3. Envoy AI Gateway — estanda ouvè ki sipòte pa CNCF la
Envoy AI Gateway pwolonje pwojè Envoy Gateway CNCF a ak sipò natif natal pou trafik IA, epi li te rive nan yon vèsyon 1.0 ki estab an 2026. Kreye epi antretni pa Tetrate ansanm ak Bloomberg, se premye pòtay IA sous ouvè ki sipòte pa CNCF, sa ki enpòtan si ou sousi pou gouvènans net anvè vandè ak yon pwojè ki pa kontwole pa yon sèl vandè komèsyal.
Li ofri yon koòdone konpatib ak OpenAI atravè gwo founisè modèl yo, plis routaj, failover, ak trasaj OpenTelemetry GenAI atravè chat, embeddings, ak lòt pwen final yo. Bloomberg deja ap itilize li an pwodiksyon. Konpwomi an se ke li se yon lojisyèl ki nan nivo enfrastrikti: pwisan e ki aliyen ak estanda yo, men li atann yon ekip ki alèz pou opere Envoy ak Kubernetes, epi konvenyans ki pi wo yo pi fasil pou itilize pase nan yon platfòm jere.
Pi bon pou: ekip platfòm ki vle yon pòtay ki baze sou Envoy, ki gen estanda CNCF, yo ka kontwole nèt. Atansyon: prevwa bidjè pou ekspètiz operasyonèl Envoy ak Kubernetes mande a.
4. Higress — yon pòtay sous louvri ki gen gwo echèl, natif natal nan entèlijans atifisyèl
Higress te kòmanse andedan Alibaba, li te sous ouvè anba Apache-2.0, epi li bati sou Istio ak Envoy. Li teste sou gwo echèl, ak validasyon pwodiksyon ki jere dè santèn de milye demann pa segonn ak chanjman konfigirasyon ki pran efè nan milisegond olye pou yo fòse rechaje ki deranje.
Sou bò IA a, li sipòte founisè modèl prensipal yo, li ka òganize sèvè MCP atravè mekanis plugin li a pou ajan yo ka rele zouti yo, epi li bay yon jesyon inifye pou tou de API LLM ak MCP, ansanm ak WAF ak yon seri estrateji otantifikasyon. Li se yon ekselan chwa si pèfòmans brit ak yon nwayo wo-debi ki pwouve se priyorite ou yo. Menm jan ak lòt pwojè ki bay enfrastrikti an premye, gouvènans ki pi wo a ak polisaj pwodwi a pi lejè pase yon platfòm antrepriz dedye, epi sant gravite kominote a ka mwens familye pou kèk ekip oksidantal yo.
Pi bon pou: ekip ki bezwen yon pòtay entèlijans atifisyèl natif natal ki gen gwo débit, ki konplètman ouvè. Atansyon: ou pral rasanble plis kouch gouvènans lan tèt ou.
5. Gloo AI Gateway — Baze sou Envoy ak natif natal Kubernetes
Gloo AI Gateway, ki soti nan Solo.io, bati jesyon trafik IA sou yon pòtay Envoy ak Kubernetes natif natal ki byen devlope. Li vize bezwen espesifik trafik LLM: kach semantik, limitasyon vitès ki baze sou jeton, anrichisman rapid, enjeksyon kalifikasyon atravè sekrè Kubernetes, ak pwoteksyon kont eksfiltrasyon done pou anpeche enfòmasyon sansib yo koule. Solo.io te bay pòtay sous ouvè li a bay CNCF (kòm kgateway), kidonk gen yon nwayo ouvè reyèl.
Nuans lan reflete modèl ki sou lis sa a: kèk nan kapasite espesifik LLM yo, tankou limitasyon vitès ki baze sou jeton, tipikman fè pati lisans antrepriz la olye de nwayo gratis la. Si w deja ap itilize Kubernetes epi ou vle yon pòtay ki baze sou Envoy ki trete trafik IA kòm yon sitwayen premye klas, li se yon bon chwa toutotan ou mete karakteristik ou bezwen yo nan bon nivo a.
Pi bon pou: Ekip ki itilize anpil Kubernetes epi ki vle yon pòtay ki baze sou Envoy ak fonksyonalite trafik IA. Atansyon: tcheke ki fonksyonalite LLM ki bezwen edisyon antrepriz la.
Ki jan yo chwazi
Si ou vle yon pwojè sous ouvè pou ou jere epi opere tèt ou, Envoy AI Gateway ak Higress ba ou nwayo pèfòmans ki aliyen ak estanda yo, epi Gloo se yon bon chwa lè ou deja angaje ak Envoy sou Kubernetes. Portkey se fason ki pi lejè pou oto-òganize yon kouch routaj, depi ou aksepte limit nivo yo. Epi si sa ou reyèlman bezwen se done ki rete nan pwòp nwaj ou a ak yon gouvènans antrepriz konplè ak sipò dèyè li, TrueFoundry se opsyon ki ba ou pozisyon oto-òganize a san ou pa mande ou pou konstwi pil gouvènans lan tèt ou.
Anba liy lan
Oto-hébergement yon pòtay IA te konn vle di abandone fonksyonalite pou kontwòl. An 2026 sa pa vre ankò: ou ka jwenn yon estanda ouvè ki sipòte pa CNCF, yon nwayo natif natal IA ki gen gwo débit, oswa yon platfòm antrepriz ki gouvène nèt ki fonksyone andedan pwòp anviwònman ou. Bon chwa a depann de konbyen ou vle opere tèt ou kont konbyen gouvènans ou vle pare pou itilize. Pou ekip ki vle ni kontwòl ni pwofondè, TrueFoundry se youn pou bat.
