Para sa maraming team, ang unang tanong tungkol sa isang AI gateway ay hindi "ano ang magagawa nito" kundi "saan ito tumatakbo." Kung ikaw ay nasa isang regulated na industriya, humahawak ng sensitibong data, o sadyang allergic sa pagpapadala ng bawat prompt at tugon sa pamamagitan ng cloud ng ibang tao, ang isang naka-host na SaaS gateway ay hindi dapat gamitin kahit gaano pa ito kahusay. Gusto mo ng isang bagay na maaari mong patakbuhin sa loob ng iyong sariling imprastraktura, siyasatin, at kontrolin.
Ang magandang balita ay ang open-source at self-hostable na bahagi ng merkado na ito ay naging tunay na malakas. Ang AI gateway ay ang control plane sa pagitan ng iyong mga application at ng iyong mga model provider, na humahawak sa routing, reliability, security, at cost sa isang lugar, at ilan sa mga pinakamahusay ay ipinapadala na ngayon bilang software na maaari mong i-host nang mag-isa. Narito ang limang mahalagang ilista kapag ang self-hosting ay isang kinakailangan, hindi isang magandang bagay.
Ang dapat na tunay na ibig sabihin ng "self-hostable"
Bago ang listahan, isang maikling salita tungkol sa patibong. Ang "open source" at "self-hostable" ay hindi magkapareho, at hindi ginagarantiyahan ng alinman sa mga ito na ang feature na kailangan mo ay nasa libreng build. Ang ilan ay nagpo-project ng open-source na mabilis na routing core ngunit pinapanatili ang pamamahala, observability storage, at multi-team access control sa isang bayad na tier. Kaya suriin ang tatlong bagay nang hiwalay: kung ang software ay tumatakbo sa iyong sariling kapaligiran, kung ang mga partikular na kakayahan na kailangan mo ay nasa bersyon na maaari mong i-self-host, at kung ang data ay talagang nananatili sa iyong imprastraktura mula simula hanggang katapusan. Gamit ang lente na iyon, narito kung paano naghahambing ang limang ito.
1. TrueFoundry — ang enterprise control plane na pinapatakbo mo sa sarili mong cloud
Nangunguna ang TrueFoundry sa listahang ito dahil ginawa ito para sa eksaktong limitasyon na nagtutulak sa mga team patungo sa self-hosting: ang pagpapanatili ng data sa sarili mong kapaligiran nang hindi isinasakripisyo ang kakayahan ng enterprise. Ang AI Gateway nito ay ide-deploy sa loob ng sarili mong cloud o VPC, kaya ang mga prompt at trace ay mananatili sa rehiyon ng iyong imprastraktura ayon sa rehiyon, habang nagbibigay pa rin sa iyo ng isang OpenAI-compatible na interface sa mahigit 1,000 modelo, load balancing at fallbacks, isang kumpletong guardrails suite, role-based access, mga badyet, at OpenTelemetry observability.
Higit pa ito sa pagiging purong proxy. Pinamamahalaan ng TrueFoundry ang mga MCP server at agent sa pamamagitan ng iisang control plane, at ang agent harness nito, ang TrueForge, ay open source at vendor-neutral, kaya ang mga piyesang gusto mong siyasatin at palawakin ay bukas habang ang platform mismo ay tumatakbo kung saan mo ito kailangan. Para sa mga team na gusto ang self-hosting na postura ng isang open-source na proyekto ngunit ang lalim at suporta ng isang enterprise platform, ito ang kombinasyon na mahirap mahanap sa ibang lugar. Halimbawa, pinapatakbo ito ng FloQast nang buo sa loob ng sarili nitong cloud upang mapanatili ang financial data sa mga rehiyon ng US, EU, at APAC, na mababasa mo sa dokumentasyon at case study ng AI Gateway ng TrueFoundry .
Pinakamahusay para sa: mga negosyong nangangailangan ng data residency at ganap na pamamahala habang pinapatakbo mismo ang gateway. Mag-ingat: ito ay isang mayamang platform, kaya planuhin ang paglulunsad sa halip na umasa sa limang minutong pag-install.
2. Portkey — isang mabilis at sikat na open-source routing core
Ginawang open-source ng Portkey ang gateway nito sa ilalim ng lisensya ng MIT, at ang core nito ay isang tunay na mahusay na piraso ng inhinyeriya: magaan, napakababang dagdag na latency, naka-ruta sa isang malaking katalogo ng modelo na may integrated guardrails, at madaling patakbuhin bilang isang container na ikaw mismo ang magho-host. Kung gusto mo ng isang napatunayang open-source proxy na mapagbubuti, isa ito sa mga pinakasikat na panimulang punto sa mabuting dahilan.
Ang tanging problema ay kung saan nahuhulog ang linya sa pagitan ng libre at bayad. Ang self-hosted build ay nagbibigay sa iyo ng routing at reliability layer, ngunit ang observability storage at dashboards, multi-team role-based access, semantic caching sa malawakang saklaw, at enterprise support ay nasa hosted o enterprise tier. Kaya mahusay itong nagho-host bilang isang router; ang isang full governance stack ay karaniwang nangangahulugang bayad na plano.
Pinakamahusay para sa: mga team na gusto ng isang lean, self-hosted routing layer. Ingat: kumpirmahin kung aling mga governance feature ang makikita sa open build bago mo ito gawing standardized.
3. Envoy AI Gateway — ang bukas na pamantayang sinusuportahan ng CNCF
Pinalalawak ng Envoy AI Gateway ang proyektong Envoy Gateway ng CNCF gamit ang katutubong suporta para sa trapiko ng AI, at umabot ito sa matatag na 1.0 noong 2026. Nilikha at pinapanatili ng Tetrate kasama ang Bloomberg, ito ang unang open-source AI gateway na sinusuportahan ng CNCF, na mahalaga kung mahalaga sa iyo ang pamamahala na neutral sa vendor at isang proyektong hindi kontrolado ng iisang komersyal na vendor.
Nag-aalok ito ng interface na tugma sa OpenAI sa mga pangunahing provider ng modelo, kasama ang routing, failover, at OpenTelemetry GenAI tracing sa mga chat, embedding, at iba pang endpoint. Pinapatakbo na ito ng Bloomberg sa produksyon. Ang kapalit nito ay isa itong software na pang-imprastraktura: makapangyarihan at naaayon sa mga pamantayan, ngunit inaasahan nito ang isang koponan na komportable sa pagpapatakbo ng Envoy at Kubernetes, at ang mas mataas na antas ng kaginhawahan ay mas DIY kaysa sa isang pinamamahalaang platform.
Pinakamahusay para sa: mga platform team na nagnanais ng CNCF-standard, Envoy-based gateway na kanilang ganap na kontrolado. Mag-ingat: magbadyet para sa operational expertise demand ng Envoy at Kubernetes.
4. Higress — isang mataas na antas, AI-native na open-source gateway
Nagsimula ang Higress sa loob ng Alibaba, open-sourced sa ilalim ng Apache-2.0, at binuo sa Istio at Envoy. Nasubukan na ito sa malawakang operasyon, kung saan ang production validation ay humahawak ng daan-daang libong request kada segundo at mga pagbabago sa configuration na magkakabisa sa loob ng ilang millisecond sa halip na pilitin ang mga nakakagambalang reload.
Sa panig ng AI, sinusuportahan nito ang mga mainstream model provider, maaaring mag-host ng mga MCP server sa pamamagitan ng plugin mechanism nito para makatawag ang mga agent ng mga tool, at nagbibigay ng pinag-isang pamamahala para sa parehong LLM at MCP API, kasama ang WAF at iba't ibang estratehiya sa pagpapatotoo. Isa itong mahusay na pagpipilian kung ang raw performance at isang napatunayang high-throughput core ang iyong mga prayoridad. Tulad ng ibang mga proyektong inuuna ang imprastraktura, ang mas mataas na antas ng pamamahala at pagpapakintab ng produkto ay mas magaan kaysa sa isang nakalaang enterprise platform, at ang community center of gravity ay maaaring hindi gaanong pamilyar sa ilang mga Western team.
Pinakamahusay para sa: mga team na nangangailangan ng high-throughput, ganap na open-source na AI-native gateway. Mag-ingat: mas marami ka pang magagawang governance layer.
5. Gloo AI Gateway — Nakabase sa Envoy at katutubo ng Kubernetes
Ang Gloo AI Gateway, mula sa Solo.io, ay bumubuo ng pamamahala ng trapiko ng AI sa ibabaw ng isang mature na Envoy- at Kubernetes-native gateway. Tinatarget nito ang mga partikular na pangangailangan ng trapiko ng LLM: semantic caching, token-based rate limiting, prompt enrichment, credential injection sa pamamagitan ng mga sikreto ng Kubernetes, at proteksyon sa data-exfiltration upang maiwasan ang pagtagas ng sensitibong impormasyon. Idinonate ng Solo.io ang open-source gateway nito sa CNCF (bilang kgateway), kaya mayroong isang tunay na open core.
Ang nuance ay sumasalamin sa pattern sa listahang ito: ang ilan sa mga kakayahan na partikular sa LLM, tulad ng token-based rate limiting, ay karaniwang bahagi ng enterprise license sa halip na ang free core. Kung nagpapatakbo ka na ng Kubernetes at gusto mo ng Envoy-based gateway na tinatrato ang AI traffic bilang isang first-class citizen, ito ay isang malaking bagay hangga't ini-map mo kung aling mga feature ang kailangan mo sa tamang tier.
Pinakamahusay para sa: Mga koponan na maraming Kubernetes na nagnanais ng isang Envoy-based gateway na may mga feature ng AI traffic. Mag-ingat: tingnan kung aling mga feature ng LLM ang nangangailangan ng enterprise edition.
Kung paano pumili ng
Kung gusto mo ng isang purong open-source na proyekto na patakbuhin at patakbuhin nang mag-isa, ang Envoy AI Gateway at Higress ay magbibigay sa iyo ng mga standard-aligned, high-performance cores, at ang Gloo ay isang magandang pagpipilian kapag naka-commit ka na sa Envoy on Kubernetes. Ang Portkey ang pinakamagaan na paraan para mag-self-host ng routing layer, basta't tatanggapin mo ang mga hangganan ng tier. At kung ang talagang kailangan mo ay data na mananatili sa iyong sariling cloud na may ganap na enterprise governance at suporta sa likod nito, ang TrueFoundry ang opsyon na magbibigay sa iyo ng self-hosted na postura nang hindi hinihiling sa iyo na buuin ang governance stack nang mag-isa.
Ang bottom line
Ang self-hosting ng isang AI gateway ay dating nangangahulugan ng pagsuko ng mga feature para sa kontrol. Sa 2026, hindi na ito totoo: maaari kang makakuha ng CNCF-backed open standard, isang high-throughput AI-native core, o isang fully governed enterprise platform na tumatakbo sa loob ng iyong sariling environment. Ang tamang pagpili ay nakasalalay sa kung gaano mo gustong patakbuhin ang iyong sarili kumpara sa kung gaano kalaki ang pamamahala na gusto mo mula sa simula. Para sa mga team na gusto ng parehong kontrol at lalim, ang TrueFoundry ang dapat talunin.
