Fir vill Équipen ass déi éischt Fro iwwer en AI-Gateway net "wat kann e maachen", mee "wou leeft en". Wann Dir an enger reglementéierter Branche schafft, mat sensiblen Donnéeën ëmgeet oder einfach allergesch sidd, all Ufro an Äntwert iwwer d'Cloud vun engem aneren ze schécken, ass en gehosteten SaaS-Gateway eng onverzichtbar Léisung, egal wéi gutt en ausgestatt ass. Dir wëllt eppes, wat Dir an Ärer eegener Infrastruktur lafe kënnt, iwwerpréife kënnt a kontrolléiere kënnt.
Déi gutt Noriicht ass, datt den Open-Source- an Self-Hosting-Enn vun dësem Maart wierklech staark ginn ass. En AI-Gateway ass d'Kontrollebene tëscht Ären Applikatiounen an Äre Modellprovider, déi Routing, Zouverlässegkeet, Sécherheet a Käschten op enger Plaz ofwéckelt, an e puer vun de beschten ginn elo als Software geliwwert, déi Dir selwer hoste kënnt. Hei sinn fënnef, déi et wäert sinn, op eng kuerz Lëscht ze setzen, wann Self-Hosting eng Viraussetzung ass, net eppes, wat een einfach maache kann.
Wat "self-hostable" eigentlech soll bedeiten
Virun der Lëscht, nach e Wuert zur Fall. "Open Source" a "self-hostable" sinn net datselwecht, an dat garantéiert net, datt déi néideg Funktioun am gratis Build ass. E puer Projeten hunn Open Source fir e schnelle Routing-Kär, awer behalen d'Governance, d'Observabilitéitsspäicherung an d'Multi-Team-Zougangskontroll an engem bezuelten Tier. Also bewäert dräi Saachen separat: ob d'Software an Ärer eegener Ëmfeld leeft, ob déi spezifesch Funktiounen, déi Dir braucht, an der Versioun sinn, déi Dir selwer hoste kënnt, an ob d'Donnéeën tatsächlech an Ärer Infrastruktur vun Ufank bis Enn bleiwen. Mat deem Bléck vergläiche sech dës fënnef hei.
1. TrueFoundry — d'Kontrollfläch fir d'Entreprise, déi Dir an Ärer eegener Cloud bedreift
TrueFoundry féiert dës Lëscht un, well et genau fir déi Aschränkung gebaut gouf, déi d'Teams zum Self-Hosting dréngt: Daten an der eegener Ëmfeld ze späicheren, ouni op d'Enterprise-Fäegkeeten opzeginn. Säin AI Gateway gëtt an Ärer eegener Cloud oder VPC installéiert, sou datt Ufroen an Traces an Ärer Infrastruktur Regioun fir Regioun bleiwen, wärend Dir ëmmer nach eng eenzeg OpenAI-kompatibel Interface fir iwwer 1,000 Modeller, Load Balancing a Fallbacks, eng komplett Guardrails Suite, rollenbaséierten Zougang, Budgets an OpenTelemetry Observabilitéit kritt.
Et geet och méi wäit wéi nëmmen e pure Proxy. TrueFoundry steiert MCP-Serveren an Agenten iwwer déiselwecht Kontrollfläch, an säin Agentenharnish, TrueForge, ass Open-Source an neutral vum Ubidder, sou datt d'Stécker, déi Dir wëllt iwwerpréiwen a verlängeren, op sinn, während d'Plattform selwer do leeft, wou Dir se braucht. Fir Équipen, déi de Self-Hosting-Positioun vun engem Open-Source-Projet wëllen, awer d'Déift an d'Ënnerstëtzung vun enger Enterprise-Plattform, ass dës Kombinatioun déi soss schwéier ze fannen ass. FloQast, zum Beispill, leeft et komplett an senger eegener Cloud, fir Finanzdaten an den USA, der EU an den APAC-Regiounen ze späicheren, iwwer déi Dir an der AI Gateway-Dokumentatioun a Fallstudien vun TrueFoundry liesen kënnt.
Am Beschten fir: Entreprisen, déi Datenresidenz a komplett Governance brauchen, während se de Gateway selwer bedreiwen. Opgepasst: et ass eng räich Plattform, also plant d'Rollout anstatt eng fënnef-Minutte-Installatioun ze erwaarden.
2. Portkey — e schnelle, populäre Open-Source Routing-Kär
Portkey huet säi Gateway ënner enger MIT-Lizenz Open-Source gemaach, an de Kär ass e wierklech gutt Stéck Ingenieurskonscht: liicht Gewiicht, ganz niddreg zousätzlech Latenz, Routing op e grousse Modellkatalog mat integréierte Schutzrailen, an einfach als Container ze bedreiwen, deen Dir selwer host. Wann Dir e bewährte Open-Source-Proxy wëllt, op deem Dir opbaue kënnt, ass et aus gudde Grënn ee vun de populäersten Ausgangspunkten.
D'Notiz ass wou d'Linn tëscht gratis a bezuelte läit. De Self-Hosted Build bitt Iech d'Routing- a Reliabilitéitsschicht, awer den Observabilitéitsspäicher an d'Dashboards, den Zougang op Basis vu Rollen fir verschidde Teams, de semantesche Caching a groussem Moossstaf an den Enterprise-Support leien am gehosteten oder Enterprise-Tier. Dofir ass et och gutt als Router selwer hostbar; e komplette Governance-Stack bedeit normalerweis de bezuelte Plang.
Am beschten fir: Équipen, déi eng schlank, selwer gehostet Routing-Layer wëllen. Opgepasst: bestätegt, wéi eng Governance-Funktiounen am oppene Build verfügbar sinn, ier Dir se standardiséiert.
3. Envoy AI Gateway — den CNCF-ënnerstëtzten oppene Standard
Envoy AI Gateway erweitert den Envoy Gateway Projet vun der CNCF mat nativer Ënnerstëtzung fir KI-Verkéier, an huet am Joer 2026 eng stabil Versioun 1.0 erreecht. Erstellt a verwalt vun Tetrate zesumme mat Bloomberg, ass et den éischten CNCF-ënnerstëtzten Open-Source KI-Gateway, wat wichteg ass, wann Dir Iech fir eng vendor-neutral Governance an e Projet interesséiert, deen net vun engem eenzege kommerzielle Vendor kontrolléiert gëtt.
Et bitt eng OpenAI-kompatibel Interface iwwer déi grouss Modellprovider, plus Routing, Failover an OpenTelemetry GenAI Tracing iwwer Chat, Embeddings an aner Endpunkten. Bloomberg bedreift et schonn a Produktioun. Den Nodeel ass, datt et eng Software vun Infrastrukturqualitéit ass: mächteg an standardiséiert, awer et erwaart en Team, dat sech wuel mam Betrib vun Envoy a Kubernetes vertraut mécht, an d'Komfort op méi héijen Niveauen ass méi DIY wéi an enger verwalteter Plattform.
Am beschten fir: Plattformteams, déi e CNCF-Standard, Envoy-baséiert Gateway wëllen, deen se voll kontrolléiere kënnen. Opgepasst: Budget fir déi operationell Expertise, déi Envoy a Kubernetes verlaangen.
4. Higress — e groussskalegen, KI-nativen Open-Source-Gateway
Higress huet an Alibaba ugefaangen, war Open-Source ënner Apache-2.0, a baséiert op Istio an Envoy. Et ass a groussem Mooss getest ginn, mat enger Produktiounsvalidatioun déi Honnertdausende vun Ufroen pro Sekonn behandelt a Konfiguratiounsännerungen déi a Millisekonnen a Kraaft trieden anstatt stéierend Noluede ze erzwingen.
Op der KI-Säit ënnerstëtzt et Mainstream-Modellprovider, kann MCP-Server iwwer säi Plugin-Mechanismus hosten, sou datt Agenten Tools uruffe kënnen, a bitt eenheetlech Gestioun fir souwuel LLM- wéi och MCP-APIs, zesumme mat WAF an enger Rei vun Authentifikatiounsstrategien. Et ass eng exzellent Wiel, wann Är Prioritéite fir rau Leeschtung an e bewährte Kär mat héijem Duerchgank sinn. Wéi bei anere Projeten, déi fir d'éischt op Infrastruktur geriicht sinn, sinn d'Governance op engem méi héijen Niveau an d'Produktpoléierung méi liicht wéi bei enger dedizéierter Enterprise-Plattform, an de Schwéierpunkt vun der Gemeinschaft kéint fir verschidde westlech Équipen manner vertraut sinn.
Am beschten fir: Équipen, déi e Gateway mat héijem Duerchgank a voll Open-Source-baséierter KI-nativer brauchen. Opgepasst: Dir wäert e groussen Deel vun der Governance-Schicht selwer zesummesetzen.
5. Gloo AI Gateway — Envoy-baséiert a Kubernetes-nativ
Gloo AI Gateway vu Solo.io baut AI-Trafficmanagement op engem ausgereiften Envoy- a Kubernetes-nativen Gateway op. Et zielt op déi spezifesch Bedierfnesser vum LLM-Traffic of: semantescht Caching, tokenbaséiert Geschwindegkeetslimitéierung, prompt Beräicherung, Injektioun vu Kredittbescheinigungen iwwer Kubernetes-Geheimnisser a Schutz géint Datenexfiltratioun, fir ze verhënneren, datt sensibel Informatiounen auslafen. Solo.io huet säin Open-Source-Gateway un d'CNCF (als kgateway) gespent, sou datt et e richtegen oppene Kär gëtt.
D'Nuance spigelt d'Muster op dëser Lëscht erëm: e puer vun den LLM-spezifesche Funktiounen, wéi zum Beispill Token-baséiert Geschwindegkeetslimitéierung, sinn typescherweis Deel vun der Enterprise-Lizenz anstatt vum gratis Kär. Wann Dir scho Kubernetes benotzt a wëllt en Envoy-baséierte Gateway, deen den KI-Verkéier wéi e Bierger vun der éischter Klass behandelt, ass dat eng gutt Wiel, soulaang Dir déi Funktiounen, déi Dir braucht, op dat richtegt Niveau zouuerdnet.
Am Beschten fir: Kubernetes-schwéier Équipen, déi e Gateway op Envoy mat KI-Traffic-Funktiounen wëllen. Opgepasst: kuckt no, wéi eng LLM-Funktiounen d'Enterprise-Editioun erfuerderen.
Wéi wielen
Wann Dir e rengt Open-Source-Projet wëllt, dat Dir selwer bedreiwe kënnt, bidden Iech Envoy AI Gateway an Higress standardausgeriicht, héich performant Kären, a Gloo ass eng gutt Wiel, wann Dir schonn op Envoy op Kubernetes engagéiert sidd. Portkey ass dee liichtste Wee fir e Routing-Layer selwer ze hosten, virausgesat datt Dir d'Tiergrenzen akzeptéiert. A wann Dir tatsächlech Daten braucht, déi an Ärer eegener Cloud bleiwen, mat voller Enterprise-Governance an Ënnerstëtzung hannendrun, ass TrueFoundry d'Optioun, déi Iech déi selwer gehostet Haltung gëtt, ouni datt Dir de Governance-Stack selwer opbaue musst.
Ënnen Linn
Fréier huet et geheescht, datt een op Funktiounen fir d'Kontroll verzicht huet. Am Joer 2026 ass dat net méi wouer: Dir kënnt en CNCF-gestëtzten oppene Standard kréien, en KI-nativen Kär mat héijem Duerchgank oder eng vollstänneg gesteiert Entrepriseplattform, déi an Ärer eegener Ëmfeld leeft. Déi richteg Wiel hänkt dovun of, wéi vill Dir selwer bedreiwe wëllt am Verglach zu wéi vill Governance Dir direkt wëllt hunn. Fir Équipen, déi souwuel Kontroll wéi och Déift wëllen, ass TrueFoundry déi richteg Léisung.
