Para sa daghang mga team, ang unang pangutana bahin sa usa ka AI gateway dili "unsa ang mahimo niini" kondili "asa kini modagan." Kon naa ka sa usa ka regulated nga industriya, nagdumala sa sensitibo nga datos, o alerdyik lang sa pagpadala sa matag prompt ug tubag pinaagi sa cloud sa uban, ang usa ka hosted SaaS gateway dili gyud maayo bisan unsa pa kini ka-pulido. Gusto nimo ang usa ka butang nga imong mapadagan sulod sa imong kaugalingong imprastraktura, masusi, ug makontrol.
Ang maayong balita kay ang open-source ug self-hostable nga bahin niining merkado nahimong tinuod nga lig-on. Ang AI gateway mao ang control plane tali sa imong mga aplikasyon ug sa imong mga model provider, nga nagdumala sa routing, kasaligan, seguridad, ug gasto sa usa ka lugar, ug daghan sa mga labing maayo karon gipadala isip software nga mahimo nimong i-host sa imong kaugalingon. Ania ang lima ka angayan nga pilion kung ang self-hosting usa ka kinahanglanon, dili usa ka butang nga gusto nimong maangkon.
Unsay angay gyud ipasabot sa "self-hostable"
Sa dili pa ang lista, mubo nga sulti bahin sa lit-ag. Ang "Open source" ug "self-hostable" dili parehas, ug wala niini ang garantiya nga ang feature nga imong gikinahanglan anaa sa libre nga build. Ang uban nag-project og open-source nga fast routing core apan nagpabilin ang governance, observability storage, ug multi-team access control sa usa ka paid tier. Busa susiha ang tulo ka butang nga gilain: kung ang software nagdagan ba sa imong kaugalingong palibot, kung ang piho nga mga kapabilidad nga imong gikinahanglan anaa ba sa bersyon nga mahimo nimong self-host, ug kung ang data ba gyud magpabilin sa imong imprastraktura gikan sa sinugdanan hangtod sa katapusan. Uban niana nga lente, ania kung giunsa pagtandi kini nga lima.
1. TrueFoundry — ang enterprise control plane nga imong gipadagan sa imong kaugalingong cloud
Nanguna ang TrueFoundry niining listahana tungod kay kini gitukod alang sa eksaktong limitasyon nga nagduso sa mga team padulong sa self-hosting: pagtipig sa datos sa imong kaugalingong palibot nga dili mawala ang kapabilidad sa negosyo. Ang AI Gateway niini i-deploy sulod sa imong kaugalingong cloud o VPC, busa ang mga prompt ug trace magpabilin sa imong rehiyon sa imprastraktura matag rehiyon, samtang naghatag gihapon kanimo og usa ka OpenAI-compatible interface sa 1,000+ nga mga modelo, load balancing ug fallbacks, usa ka kompleto nga guardrails suite, role-based access, mga badyet, ug OpenTelemetry observability.
Labaw pa kini sa usa ka puro nga proxy. Ang TrueFoundry nagdumala sa mga MCP server ug mga ahente pinaagi sa parehas nga control plane, ug ang agent harness niini, ang TrueForge, kay open source ug vendor-neutral, busa ang mga piraso nga gusto nimong susihon ug palapdan kay bukas samtang ang plataporma mismo nagdagan kung asa nimo kini kinahanglan. Para sa mga team nga gusto sa self-hosting nga postura sa usa ka open-source nga proyekto apan ang giladmon ug suporta sa usa ka enterprise platform, kini ang kombinasyon nga lisod pangitaon sa ubang lugar. Pananglitan, ang FloQast nagpadagan niini sa sulod sa kaugalingon niining cloud aron magpabilin ang pinansyal nga datos sa tibuok US, EU, ug APAC nga mga rehiyon, nga imong mabasa sa dokumentasyon ug mga case study sa AI Gateway sa TrueFoundry.
Labing maayo para sa: mga negosyo nga nanginahanglan og data residency ug hingpit nga pagdumala samtang nagpadagan sa gateway mismo. Pagbantay: kini usa ka dato nga plataporma, busa planoha ang paglusad imbes nga magdahom og lima ka minuto nga pag-install.
2. Portkey — usa ka paspas ug sikat nga open-source routing core
Gihimo sa Portkey ang gateway niini nga open-source ubos sa lisensya sa MIT, ug ang kinauyokan usa ka tinuod nga maayong piraso sa inhenyeriya: gaan, ubos kaayo ang dugang nga latency, pag-ruta ngadto sa usa ka dako nga katalogo sa modelo nga adunay integrated guardrails, ug dali nga padaganon isip usa ka container nga ikaw mismo ang mag-host. Kung gusto nimo ang usa ka napamatud-an nga open-source proxy nga matukod, kini usa sa labing inila nga mga punto sa pagsugod sa maayong hinungdan.
Ang pasidaan mao ang kalainan tali sa libre ug bayad. Ang self-hosted build naghatag kanimo sa routing ug reliability layer, apan ang observability storage ug dashboards, multi-team role-based access, semantic caching sa dako nga sukod, ug enterprise support naa sa hosted o enterprise tier. Mao nga kini self-hosts maayo sama sa usa ka router; ang usa ka full governance stack kasagaran nagpasabut sa bayad nga plano.
Labing maayo para sa: mga team nga gusto og lean, self-hosted routing layer. Pagbantay: kumpirmahi kung unsang mga governance feature ang anaa sa open build sa dili pa nimo kini i-standardize.
3. Envoy AI Gateway — ang bukas nga sumbanan nga gisuportahan sa CNCF
Gipalapdan sa Envoy AI Gateway ang proyekto sa Envoy Gateway sa CNCF nga adunay lumad nga suporta para sa AI traffic, ug nakaabot kini sa stable nga 1.0 niadtong 2026. Gihimo ug gimentinar sa Tetrate kauban ang Bloomberg, kini ang unang CNCF-backed open-source AI gateway, nga importante kung importante kanimo ang vendor-neutral governance ug usa ka proyekto nga dili kontrolado sa usa ka komersyal nga vendor.
Nagtanyag kini og OpenAI-compatible interface sa mga dagkong model providers, dugang sa routing, failover, ug OpenTelemetry GenAI tracing sa chat, embeddings, ug uban pang endpoints. Gipadagan na kini sa Bloomberg sa produksiyon. Ang trade-off kay kini usa ka infrastructure-grade software: gamhanan ug nahiuyon sa mga standards, apan gilauman niini ang usa ka team nga komportable sa pag-operate sa Envoy ug Kubernetes, ug ang mas taas nga lebel sa kasayon mas DIY kaysa sa usa ka managed platform.
Labing maayo para sa: mga platform team nga gusto og CNCF-standard, Envoy-based gateway nga ilang hingpit nga kontrolado. Pagbantay: pagbadyet para sa operational expertise nga gipangayo sa Envoy ug Kubernetes.
4. Higress — usa ka taas og sukod, AI-native nga open-source gateway
Nagsugod ang Higress sulod sa Alibaba, open-sourced ubos sa Apache-2.0, ug gitukod sa Istio ug Envoy. Nasulayan na kini sa daghang mga operasyon, diin ang production validation nagdumala sa gatusan ka libo nga mga hangyo kada segundo ug mga pagbag-o sa configuration nga mo-epekto sulod sa milliseconds imbes nga mapugos ang mga disruptive reloads.
Sa bahin sa AI, gisuportahan niini ang mga mainstream model provider, mahimong mag-host sa mga MCP server pinaagi sa plugin mechanism niini aron ang mga ahente makatawag sa mga himan, ug naghatag og hiniusa nga pagdumala alang sa LLM ug MCP API, uban sa WAF ug lain-laing mga estratehiya sa pag-authenticate. Kini usa ka maayo kaayo nga kapilian kung ang hilaw nga performance ug usa ka napamatud-an nga high-throughput core ang imong mga prayoridad. Sama sa ubang mga proyekto nga nag-una sa imprastraktura, ang mas taas nga lebel sa pagdumala ug pagpahapsay sa produkto mas gaan kaysa sa usa ka dedikado nga plataporma sa negosyo, ug ang sentro sa grabidad sa komunidad mahimong dili kaayo pamilyar sa pipila ka mga team sa Kasadpan.
Labing maayo para sa: mga team nga nanginahanglan og high-throughput, hingpit nga open-source nga AI-native gateway. Pagbantay: ikaw mismo ang makahimo sa dugang nga governance layer.
5. Gloo AI Gateway — Nakabase sa Envoy ug lumad sa Kubernetes
Ang Gloo AI Gateway, gikan sa Solo.io, nagtukod og AI traffic management ibabaw sa usa ka hamtong nga Envoy- ug Kubernetes-native gateway. Gitumong niini ang mga espesipikong panginahanglan sa LLM traffic: semantic caching, token-based rate limiting, prompt enrichment, credential injection pinaagi sa Kubernetes secrets, ug data-exfiltration protection aron malikayan ang pagtulo sa sensitibo nga impormasyon. Gidonar sa Solo.io ang open-source gateway niini ngadto sa CNCF (isip kgateway), busa adunay tinuod nga open core.
Ang kalainan susama sa sumbanan niining lista: ang pipila sa mga kapabilidad nga espesipiko sa LLM, sama sa token-based rate limiting, kasagaran kabahin sa enterprise license imbes sa free core. Kon nagpadagan ka na og Kubernetes ug gusto og Envoy-based gateway nga nagtratar sa AI traffic isip first-class citizen, kini haom kaayo basta imong i-map kon unsang mga feature ang imong gikinahanglan sa husto nga tier.
Labing maayo para sa: Mga team nga daghan og Kubernetes nga gusto og Envoy-based gateway nga adunay AI traffic features. Pagbantay: susiha kung unsang LLM features ang nanginahanglan og enterprise edition.
Unsa nga paagi sa pagpili sa
Kon gusto ka og puro nga open-source nga proyekto nga modagan ug mo-operate sa imong kaugalingon, ang Envoy AI Gateway ug Higress mohatag kanimo og mga standard-aligned, high-performance cores, ug ang Gloo usa ka maayong kapilian kon ikaw komitado na sa Envoy sa Kubernetes. Ang Portkey mao ang pinakagaan nga paagi sa pag-self-host sa usa ka routing layer, basta dawaton nimo ang mga tier boundary. Ug kon ang imong gikinahanglan mao ang data nga magpabilin sa imong kaugalingong cloud nga adunay hingpit nga enterprise governance ug suporta sa luyo niini, ang TrueFoundry mao ang opsyon nga mohatag kanimo og self-hosted nga postura nga dili kinahanglan nga ikaw mismo ang mobuhat sa governance stack.
Ang ubos nga linya
Ang self-hosting sa usa ka AI gateway kaniadto nagpasabot sa pagbiya sa mga features para sa kontrol. Sa 2026 dili na kana tinuod: makakuha ka og CNCF-backed open standard, usa ka high-throughput AI-native core, o usa ka fully governed enterprise platform nga modagan sulod sa imong kaugalingong environment. Ang saktong pagpili magdepende kung unsa ka dako ang gusto nimong i-operate sa imong kaugalingon batok sa kung unsa ka dako ang governance nga gusto nimo gikan sa kahon. Para sa mga team nga gusto og kontrol ug giladmon, ang TrueFoundry mao ang angay pildihon.
