Foar in protte teams is de earste fraach oer in AI-gateway net "wat kin it dwaan", mar "wêr wurket it". As jo yn in regele sektor wurkje, gefoelige gegevens behannelje, of gewoan allergysk binne foar it ferstjoeren fan elke prompt en antwurd fia de wolk fan in oar, is in hosted SaaS-gateway in net-starter, hoe goed it ek is. Jo wolle wat jo binnen jo eigen ynfrastruktuer útfiere kinne, ynspektearje en kontrolearje kinne.
It goede nijs is dat it iepen-boarne en sels-hostbere diel fan dizze merk echt sterk wurden is. In AI-gateway is it kontrôleflak tusken jo applikaasjes en jo modelproviders, en behannelet routing, betrouberens, feiligens en kosten op ien plak, en ferskate fan 'e bêsten wurde no levere as software dy't jo sels hostje kinne. Hjir binne fiif dy't it wurdich binne om op in koarte list te setten as sels-hosting in eask is, net in moaie ding om te hawwen.
Wat "self-hostable" eins betsjutte moat
Foardat wy de list begjinne, noch in koart wurd oer de falstrik. "Iepen boarne" en "selshostber" binne net itselde, en gjin fan beide garandearret dat de funksje dy't jo nedich binne yn 'e fergese build sit. Guon projekten brûke in iepen boarne foar in snelle routingkearn, mar hâlde it bestjoer, de observearberensopslach en tagongskontrôle foar meardere teams yn in betelle tier. Dus evaluearje trije dingen apart: oft de software yn jo eigen omjouwing rint, oft de spesifike mooglikheden dy't jo nedich binne yn 'e ferzje binne dy't jo selshostje kinne, en oft gegevens eins fan begjin oant ein yn jo ynfrastruktuer bliuwe. Mei dy eachopslach kinne wy dizze fiif fergelykje.
1. TrueFoundry - it bedriuwskontrôleplan dat jo yn jo eigen wolk útfiere
TrueFoundry liedt dizze list om't it boud is foar krekt de beheining dy't teams nei selshosting driuwt: gegevens yn jo eigen omjouwing bewarje sûnder bedriuwsmooglikheden op te jaan. De AI Gateway wurdt ynset binnen jo eigen wolk of VPC, sadat prompts en traces regio foar regio yn jo ynfrastruktuer bliuwe, wylst jo noch ien OpenAI-kompatibele ynterface krije foar mear as 1,000 modellen, load balancing en fallbacks, in folsleine guardrails-suite, rol-basearre tagong, budzjetten en OpenTelemetry-observearberens.
It giet ek fierder as in suvere proxy. TrueFoundry bestjoert MCP-tsjinners en aginten fia itselde kontrôleflak, en syn agint-harnas, TrueForge, is iepen boarne en leveransierneutraal, sadat de stikken dy't jo wolle ynspektearje en útwreidzje iepen binne, wylst it platfoarm sels rint wêr't jo it nedich binne. Foar teams dy't de selshostingposysje fan in iepen boarneprojekt wolle, mar de djipte en stipe fan in bedriuwsplatfoarm, is dit de kombinaasje dy't earne oars lestich te finen is. FloQast, bygelyks, rint it folslein binnen syn eigen wolk om finansjele gegevens yn 'e FS, EU en APAC-regio's te hâlden, wêr't jo oer lêze kinne yn 'e AI Gateway-dokumintaasje en gefalstúdzjes fan TrueFoundry .
It bêste foar: bedriuwen dy't gegevensresidinsje en folslein bestjoer nedich hawwe, wylst se de gateway sels útfiere. Pas op: it is in ryk platfoarm, dus plan de útrôling ynstee fan in ynstallaasje fan fiif minuten te ferwachtsjen.
2. Portkey - in rappe, populêre iepen-boarne routingkearn
Portkey hat syn gateway iepen boarne makke ûnder in MIT-lisinsje, en de kearn is in echt goed stik yngenieurswurk: lichtgewicht, heul lege tafoege latency, routing nei in grutte modelkatalogus mei yntegreare beskermingsrails, en maklik te brûken as in kontener dy't jo sels hostje. As jo in bewiisde iepen boarne proxy wolle om op te bouwen, is it ien fan 'e populêrste útgongspunten mei goede reden.
De warskôging is wêr't de grins falt tusken fergees en betelle. De sels-hoste build jout jo de routing- en betrouberheidslaach, mar de observaasjeopslach en dashboards, tagong basearre op meardere teams, semantyske caching op grutte skaal, en bedriuwsstipe sitte yn 'e hosted- of bedriuwslaag. Dat it sels-hostet goed as in router; in folsleine governance-stack betsjut meastal it betelle plan.
Bêst foar: teams dy't in slanke, sels-hoste routinglaach wolle. Pas op: befêstigje hokker bestjoeringsfunksjes yn 'e iepen build libje foardat jo derop standerdisearje.
3. Envoy AI Gateway — de troch CNCF stipe iepen standert
Envoy AI Gateway wreidet it Envoy Gateway-projekt fan 'e CNCF út mei native stipe foar AI-ferkear, en it berikte in stabile 1.0 yn 2026. Makke en ûnderhâlden troch Tetrate tegearre mei Bloomberg, is it de earste CNCF-stipe iepen-boarne AI-gateway, wat wichtich is as jo jo soargen meitsje oer leveransierneutraal bestjoer en in projekt dat net kontroleare wurdt troch ien kommersjele leveransier.
It biedt in OpenAI-kompatibele ynterface foar alle grutte modelproviders, plus routing, failover, en OpenTelemetry GenAI-tracing oer chat, ynbêdingen en oare einpunten. Bloomberg brûkt it al yn produksje. De ôfwaging is dat it software fan ynfrastruktuerkwaliteit is: krêftich en standert-ôfstimd, mar it ferwachtet in team dat noflik is mei it betsjinjen fan Envoy en Kubernetes, en gemakken op heger nivo binne mear sels-makke as yn in beheard platfoarm.
It bêste foar: platfoarmteams dy't in CNCF-standert, Envoy-basearre gateway wolle dy't se folslein kontrolearje. Pas op: budzjet foar de operative ekspertize dy't Envoy en Kubernetes freegje.
4. Higress - in heechskalige, AI-native iepen boarne gateway
Higress begûn binnen Alibaba, wie iepen boarne ûnder Apache-2.0, en is boud op Istio en Envoy. It is op grutte skaal yn 'e striid hifke, mei produksjevalidaasje dy't hûnderttûzenen oanfragen per sekonde ôfhannelet en konfiguraasjewizigingen dy't yn millisekonden fan krêft wurde ynstee fan fersteurende opnij laden te forsearjen.
Oan 'e AI-kant stipet it mainstream-modelproviders, kin it MCP-servers hostje fia syn plugin-meganisme, sadat aginten ark kinne oproppe, en biedt it ferienige behear foar sawol LLM- as MCP API's, tegearre mei WAF en in oanbod fan autentikaasjestrategyen. It is in poerbêste kar as rûge prestaasjes en in bewezen hege-trochputkearn jo prioriteiten binne. Lykas by oare ynfrastruktuer-earste projekten, binne de bestjoersregels op heger nivo en produktpolijsting lichter as in tawijd bedriuwsplatfoarm, en it swiertepunt fan 'e mienskip kin minder bekend wêze foar guon Westerse teams.
It bêste foar: teams dy't in hege trochfier, folslein iepen boarne AI-native gateway nedich hawwe. Pas op: jo sille mear fan 'e bestjoerslaach sels gearstalle.
5. Gloo AI Gateway — Op Envoy basearre en Kubernetes-native
Gloo AI Gateway, fan Solo.io, bout AI-ferkearsbehear boppe op in folwoeksen Envoy- en Kubernetes-native gateway. It rjochtet him op 'e spesifike behoeften fan LLM-ferkear: semantyske caching, token-basearre taryfbeheining, prompt ferriking, ynjeksje fan autentikaasje fia Kubernetes-geheimen, en beskerming tsjin gegevensútfiltraasje om te foarkommen dat gefoelige ynformaasje lekke. Solo.io hat syn iepen boarne-gateway oan 'e CNCF skonken (as kgateway), sadat der in echte iepen kearn is.
De nuânse spegelt it patroan op dizze list: guon fan 'e LLM-spesifike mooglikheden, lykas token-basearre taryfbeheining, binne typysk ûnderdiel fan 'e bedriuwslisinsje ynstee fan 'e fergese kearn. As jo al Kubernetes brûke en in Envoy-basearre gateway wolle dy't AI-ferkear as in earsteklasse boarger behannelet, is it in sterke fit, salang't jo de funksjes dy't jo nedich binne oan it juste nivo yn kaart bringe.
Bêst foar: Kubernetes-swiere teams dy't in Envoy-basearre gateway wolle mei AI-ferkearsfunksjes. Pas op: kontrolearje hokker LLM-funksjes de bedriuwsedysje fereaskje.
Hoe te kiezen
As jo in suver iepen-boarne projekt sels útfiere en operearje wolle, jouwe Envoy AI Gateway en Higress jo noarmen-ôfstimde, hege prestaasjes kearnen, en Gloo is in sterke kar as jo al ynsette foar Envoy op Kubernetes. Portkey is de maklikste manier om in routinglaach sels te hosten, mits jo de tiergrinzen akseptearje. En as wat jo eins nedich binne gegevens binne dy't yn jo eigen wolk bliuwe mei folsleine bedriuwsbestjoer en stipe derachter, is TrueFoundry de opsje dy't jo de sels-hoste postuer jout sûnder jo te freegjen om de governance stack sels te bouwen.
De ûnderste line
Self-hosting fan in AI-gateway betsjutte eartiids it opjaan fan funksjes foar kontrôle. Yn 2026 is dat net mear wier: jo kinne in CNCF-stipe iepen standert krije, in hege-trochput AI-native kearn, of in folslein bestjoerd bedriuwsplatfoarm dat binnen jo eigen omjouwing rint. De juste kar komt del op hoefolle jo sels wolle beheare versus hoefolle bestjoer jo out-of-the-box wolle. Foar teams dy't sawol kontrôle as djipte wolle, is TrueFoundry dejinge om te ferslaan.
