For mange teams er det første spørgsmål om en AI-gateway ikke "hvad kan den", men "hvor kører den". Hvis du arbejder i en reguleret branche, håndterer følsomme data eller simpelthen er allergisk over for at sende alle prompter og svar gennem andres cloud, er en hosted SaaS-gateway en uundværlig løsning, uanset hvor poleret den er. Du vil have noget, du kan køre i din egen infrastruktur, inspicere og kontrollere.
Den gode nyhed er, at den del af markedet, der er baseret på open source og selvhosting, er blevet virkelig stærk. En AI-gateway er kontrolplanet mellem dine applikationer og dine modeludbydere, der håndterer routing, pålidelighed, sikkerhed og omkostninger på ét sted, og flere af de bedste leveres nu som software, du selv kan hoste. Her er fem, der er værd at nævne, når selvhosting er et krav, ikke en nice-to-have.
Hvad "selvhostbar" egentlig burde betyde
Før listen, et par ord om fælden. "Open source" og "self-hostable" er ikke det samme, og ingen af dem garanterer, at den funktion, du har brug for, er i den gratis version. Nogle projekter open source en hurtig routingkerne, men holder governance, observerbarhedslagring og multi-team adgangskontrol i et betalt niveau. Så vurder tre ting separat: om softwaren kører i dit eget miljø, om de specifikke funktioner, du har brug for, er i den version, du kan selvhoste, og om data rent faktisk forbliver i din infrastruktur fra start til slut. Med det i tankerne kan du se, hvordan disse fem sammenlignes.
1. TrueFoundry — det virksomhedskontrolsystem, du kører i din egen cloud
TrueFoundry fører an på denne liste, fordi det blev bygget til præcis den begrænsning, der driver teams mod selvhosting: at opbevare data i jeres eget miljø uden at ofre virksomhedens kapacitet. Dens AI Gateway implementeres i jeres egen cloud eller VPC, så prompts og spor forbliver i jeres infrastruktur region for region, samtidig med at I stadig får en enkelt OpenAI-kompatibel grænseflade til over 1,000 modeller, load balancing og fallbacks, en komplet guardrails-suite, rollebaseret adgang, budgetter og OpenTelemetry-observationsmuligheder.
Det rækker også længere end blot en proxy. TrueFoundry styrer MCP-servere og -agenter via det samme kontrolplan, og dens agent-harness, TrueForge, er open source og leverandørneutral, så de dele, du ønsker at inspicere og udvide, er åbne, mens selve platformen kører, hvor du har brug for den. For teams, der ønsker den selvhostende struktur som et open source-projekt, men dybden og supporten fra en virksomhedsplatform, er dette den kombination, der er svær at finde andre steder. FloQast kører det for eksempel udelukkende i sin egen cloud for at holde finansielle data lagret på tværs af USA, EU og APAC-regionerne, hvilket du kan læse om i TrueFoundrys AI Gateway-dokumentation og casestudier.
Bedst til: virksomheder, der har brug for dataopbevaring og fuld styring, mens de selv kører gatewayen. Pas på: det er en omfattende platform, så planlæg udrulningen i stedet for at forvente en installation på fem minutter.
2. Portkey — en hurtig, populær open source-routingkerne
Portkey open sourcede sin gateway under en MIT-licens, og kernen er et virkelig godt stykke ingeniørarbejde: letvægts, meget lav tilføjet latenstid, routing til et stort modelkatalog med integrerede beskyttelsesrails og nem at køre som en container, du selv hoster. Hvis du vil have en gennemprøvet open source-proxy at bygge videre på, er det et af de mest populære udgangspunkter med god grund.
Forbeholdet er, hvor grænsen går mellem gratis og betalt. Den selvhostede build giver dig routing- og pålidelighedslaget, men observerbarhedslagring og dashboards, rollebaseret adgang for flere teams, semantisk caching i stor skala og virksomhedssupport ligger i det hostede eller virksomhedsniveau. Så den selvhoster godt som en router; en fuld governance-stak betyder normalt den betalte plan.
Bedst til: teams, der ønsker et slankt, selvhostet routinglag. Pas på: Bekræft hvilke governance-funktioner, der findes i den åbne build, før du standardiserer på det.
3. Envoy AI Gateway — den CNCF-støttede åbne standard
Envoy AI Gateway udvider CNCF's Envoy Gateway-projekt med indbygget understøttelse af AI-trafik, og det nåede en stabil 1.0 i 2026. Oprettet og vedligeholdt af Tetrate sammen med Bloomberg, er det den første CNCF-støttede open source AI-gateway, hvilket er vigtigt, hvis du er interesseret i leverandørneutral styring og et projekt, der ikke kontrolleres af en enkelt kommerciel leverandør.
Det tilbyder en OpenAI-kompatibel grænseflade på tværs af de store modeludbydere, plus routing, failover og OpenTelemetry GenAI-sporing på tværs af chat, indlejringer og andre endpoints. Bloomberg kører det allerede i produktion. Ulempen er, at det er software i infrastrukturklasse: kraftfuld og standardtilpasset, men det forventes et team, der er komfortabelt med at betjene Envoy og Kubernetes, og bekvemmeligheder på højere niveau er mere gør-det-selv end i en administreret platform.
Bedst til: platformteams, der ønsker en CNCF-standard, Envoy-baseret gateway, som de fuldt ud kontrollerer. Bemærk: budgetter til den operationelle ekspertise, som Envoy og Kubernetes kræver.
4. Higress — en storskala, AI-native open source gateway
Higress startede i Alibaba, var open source under Apache-2.0 og er bygget på Istio og Envoy. Det er testet i stor skala med produktionsvalidering, der håndterer hundredtusindvis af anmodninger i sekundet, og konfigurationsændringer, der træder i kraft på millisekunder i stedet for at tvinge forstyrrende genindlæsninger frem.
På AI-siden understøtter den mainstream-modeludbydere, kan hoste MCP-servere gennem sin plugin-mekanisme, så agenter kan kalde værktøjer, og den tilbyder samlet administration af både LLM- og MCP-API'er, sammen med WAF og en række godkendelsesstrategier. Det er et fremragende valg, hvis rå ydeevne og en dokumenteret kerne med høj gennemløbshastighed er dine prioriteter. Som med andre infrastruktur-første projekter er den højere styring og produktpolering lettere end en dedikeret virksomhedsplatform, og fællesskabets tyngdepunkt kan være mindre velkendt for nogle vestlige teams.
Bedst til: teams, der har brug for en højkapacitets, fuldt open source AI-native gateway. Pas på: du skal selv sammensætte mere af governance-laget.
5. Gloo AI Gateway — Envoy-baseret og Kubernetes-native
Gloo AI Gateway fra Solo.io bygger AI-trafikstyring oven på en moden Envoy- og Kubernetes-native gateway. Den er rettet mod de specifikke behov for LLM-trafik: semantisk caching, tokenbaseret hastighedsbegrænsning, prompt berigelse, legitimationsinjektion via Kubernetes-hemmeligheder og dataeksfiltreringsbeskyttelse for at forhindre følsomme oplysninger i at lække. Solo.io donerede sin open source-gateway til CNCF (som kgateway), så der er en ægte åben kerne.
Nuancen afspejler mønsteret på denne liste: nogle af de LLM-specifikke funktioner, såsom tokenbaseret hastighedsbegrænsning, er typisk en del af virksomhedslicensen snarere end den gratis kerne. Hvis du allerede kører Kubernetes og ønsker en Envoy-baseret gateway, der behandler AI-trafik som en førsteklasses borger, er det et godt match, så længe du knytter de funktioner, du har brug for, til det rigtige niveau.
Bedst til: Kubernetes-tunge teams, der ønsker en Envoy-baseret gateway med AI-trafikfunktioner. Bemærk: Tjek hvilke LLM-funktioner, der kræver Enterprise-udgaven.
Hvordan vælger
Hvis du ønsker et rent open source-projekt, som du selv kan køre og drifte, giver Envoy AI Gateway og Higress dig standardtilpassede, højtydende kerner, og Gloo er et stærkt valg, når du allerede er forpligtet til Envoy på Kubernetes. Portkey er den nemmeste måde at selvhoste et routinglag på, forudsat at du accepterer niveaugrænserne. Og hvis det, du rent faktisk har brug for, er data, der forbliver i din egen cloud med fuld virksomhedsstyring og support bagved, er TrueFoundry den mulighed, der giver dig den selvhostede stilling uden at bede dig om selv at bygge governance-stakken.
Bundlinien
Selvhosting af en AI-gateway plejede at betyde, at man skulle opgive funktioner for at få kontrol. I 2026 er det ikke længere sandt: man kan få en CNCF-understøttet åben standard, en AI-native kerne med høj kapacitet eller en fuldt styret virksomhedsplatform, der kører i ens eget miljø. Det rigtige valg afhænger af, hvor meget man vil drive selv versus hvor meget styring man ønsker fra starten. For teams, der ønsker både kontrol og dybde, er TrueFoundry det rette valg.
