For mange team er det første spørsmålet om en AI-gateway ikke «hva kan den gjøre», men «hvor kjører den». Hvis du er i en regulert bransje, håndterer sensitive data, eller rett og slett er allergisk mot å sende hver eneste forespørsel og svar gjennom andres sky, er en hosted SaaS-gateway en uunnværlig løsning uansett hvor polert den er. Du vil ha noe du kan kjøre i din egen infrastruktur, inspisere og kontrollere.
Den gode nyheten er at den delen av markedet som er basert på åpen kildekode og selvhosting har blitt virkelig sterk. En AI-gateway er kontrollplanet mellom applikasjonene dine og modellleverandørene dine, og håndterer ruting, pålitelighet, sikkerhet og kostnader på ett sted, og flere av de beste leveres nå som programvare du kan hoste selv. Her er fem som er verdt å velge mellom når selvhosting er et krav, ikke noe som er kjekt å ha.
Hva «selvhostbar» egentlig burde bety
Før listen, et kort ord om fellen. «Åpen kildekode» og «selvhostbar» er ikke det samme, og ingen av dem garanterer at funksjonen du trenger er i gratisversjonen. Noen prosjekter bruker åpen kildekode for en rask rutingskjerne, men beholder styring, observerbarhetslagring og tilgangskontroll for flere team i et betalt nivå. Så vurder tre ting separat: om programvaren kjører i ditt eget miljø, om de spesifikke funksjonene du trenger er i versjonen du kan selvhoste, og om data faktisk forblir i infrastrukturen din fra ende til ende. Med det perspektivet kan du sammenligne disse fem på en slik måte.
1. TrueFoundry – kontrollsystemet du kjører i din egen sky
TrueFoundry leder denne listen fordi den ble bygget for akkurat den begrensningen som presser team mot selvhosting: å oppbevare data i ditt eget miljø uten å ofre bedriftskapasitet. AI-gatewayen distribueres i din egen sky eller VPC, slik at ledetekster og spor forblir i infrastrukturen din region for region, samtidig som du fortsatt får et enkelt OpenAI-kompatibelt grensesnitt til over 1,000 modeller, lastbalansering og reserveløsninger, en komplett guardrails-pakke, rollebasert tilgang, budsjetter og OpenTelemetry-observasjonsmuligheter.
Den når også lenger enn en ren proxy. TrueFoundry styrer MCP-servere og -agenter gjennom samme kontrollplan, og agentsystemet deres, TrueForge, er åpen kildekode og leverandørnøytralt, slik at delene du ønsker å inspisere og utvide er åpne mens selve plattformen kjører der du trenger den. For team som ønsker den selvhostende holdningen til et åpen kildekode-prosjekt, men dybden og støtten til en bedriftsplattform, er dette kombinasjonen som er vanskelig å finne andre steder. FloQast, for eksempel, kjører det helt i sin egen sky for å holde økonomiske data lagret i USA, EU og APAC-regionene, som du kan lese om i TrueFoundrys AI Gateway-dokumentasjon og casestudier.
Best for: bedrifter som trenger datalagring og full styring mens de kjører gatewayen selv. Forsiktig: det er en rik plattform, så planlegg utrullingen i stedet for å forvente en fem minutters installasjon.
2. Portkey – en rask, populær rutingskjerne med åpen kildekode
Portkey åpnet sin gateway under en MIT-lisens, og kjernen er et genuint godt stykke ingeniørkunst: lett, svært lav ekstra latens, ruting til en stor modellkatalog med integrerte beskyttelsesrekkverk, og enkel å kjøre som en container du hoster selv. Hvis du vil ha en velprøvd åpen kildekode-proxy å bygge videre på, er det et av de mest populære utgangspunktene med god grunn.
Begrensningen er hvor grensen går mellom gratis og betalt. Den selvhostede versjonen gir deg ruting- og pålitelighetslaget, men observerbarhetslagring og dashbord, rollebasert tilgang for flere team, semantisk caching i stor skala og bedriftsstøtte ligger i det hostede eller bedriftsnivået. Så den er selvhostet godt som en ruter; en full governance stack betyr vanligvis den betalte planen.
Best for: team som ønsker et slankt, selvhostet rutingslag. Obs: bekreft hvilke styringsfunksjoner som finnes i den åpne versjonen før du standardiserer den.
3. Envoy AI Gateway – den CNCF-støttede åpne standarden
Envoy AI Gateway utvider CNCFs Envoy Gateway-prosjekt med innebygd støtte for AI-trafikk, og det nådde en stabil 1.0 i 2026. Opprettet og vedlikeholdt av Tetrate sammen med Bloomberg, er det den første CNCF-støttede åpen kildekode-AI-gatewayen, noe som er viktig hvis du bryr deg om leverandørnøytral styring og et prosjekt som ikke kontrolleres av en enkelt kommersiell leverandør.
Den tilbyr et OpenAI-kompatibelt grensesnitt på tvers av de store modellleverandørene, pluss ruting, failover og OpenTelemetry GenAI-sporing på tvers av chat, innebygginger og andre endepunkter. Bloomberg kjører den allerede i produksjon. Ulempen er at det er programvare i infrastrukturklasse: kraftig og standardtilpasset, men den forventer et team som er komfortabelt med å bruke Envoy og Kubernetes, og bekvemmeligheter på høyere nivå er mer gjør-det-selv-nivå enn i en administrert plattform.
Best for: plattformteam som ønsker en CNCF-standard, Envoy-basert gateway de har full kontroll over. Obs: budsjetter for den operative ekspertisen Envoy og Kubernetes krever.
4. Higress — en storskala, AI-basert åpen kildekode-gateway
Higress startet i Alibaba, var åpen kildekode under Apache-2.0, og er bygget på Istio og Envoy. Det er testet i stor skala, med produksjonsvalidering som håndterer hundretusenvis av forespørsler per sekund og konfigurasjonsendringer som trer i kraft i løpet av millisekunder i stedet for å tvinge frem forstyrrende omlastinger.
På AI-siden støtter den vanlige modellleverandører, kan være vert for MCP-servere gjennom plugin-mekanismen slik at agenter kan kalle verktøy, og tilbyr enhetlig administrasjon for både LLM- og MCP-API-er, sammen med WAF og en rekke autentiseringsstrategier. Det er et utmerket valg hvis rå ytelse og en dokumentert kjerne med høy gjennomstrømning er dine prioriteter. Som med andre infrastruktur-første prosjekter, er styringen på høyere nivå og produktpoleringen lettere enn en dedikert bedriftsplattform, og fellesskapets tyngdepunkt kan være mindre kjent for noen vestlige team.
Best for: team som trenger en høykapasitets, fullstendig åpen kildekode-basert AI-native gateway. Obs: du må sette sammen mer av styringslaget selv.
5. Gloo AI Gateway – Envoy-basert og Kubernetes-native
Gloo AI Gateway fra Solo.io bygger AI-trafikkhåndtering oppå en moden Envoy- og Kubernetes-native gateway. Den er rettet mot de spesifikke behovene til LLM-trafikk: semantisk mellomlagring, tokenbasert hastighetsbegrensning, rask berikelse, legitimasjonsinjeksjon via Kubernetes-hemmeligheter og datautfiltreringsbeskyttelse for å forhindre lekkasje av sensitiv informasjon. Solo.io donerte sin åpen kildekode-gateway til CNCF (som kgateway), slik at det finnes en ekte åpen kjerne.
Nyansene speiler mønsteret på denne listen: noen av de LLM-spesifikke funksjonene, som tokenbasert hastighetsbegrensning, er vanligvis en del av bedriftslisensen snarere enn den gratis kjernen. Hvis du allerede kjører Kubernetes og ønsker en Envoy-basert gateway som behandler AI-trafikk som en førsteklasses borger, er det en god løsning så lenge du tilordner hvilke funksjoner du trenger til riktig nivå.
Best for: Kubernetes-tunge team som ønsker en Envoy-basert gateway med AI-trafikkfunksjoner. Obs: sjekk hvilke LLM-funksjoner som krever Enterprise-utgaven.
Hvordan velge
Hvis du ønsker et rent åpen kildekode-prosjekt å kjøre og drifte selv, gir Envoy AI Gateway og Higress deg standardtilpassede kjerner med høy ytelse, og Gloo er et sterkt valg når du allerede er forpliktet til Envoy på Kubernetes. Portkey er den enkleste måten å selvhoste et rutingslag, forutsatt at du godtar nivågrensene. Og hvis det du faktisk trenger er data som forblir i din egen sky med full bedriftsstyring og støtte bak det, er TrueFoundry alternativet som gir deg den selvhostede stillingen uten å be deg om å bygge styringsstakken selv.
Den nederste linjen
Å være selvhostet for en AI-gateway pleide å bety å gi opp funksjoner for kontroll. I 2026 er ikke det lenger sant: du kan få en CNCF-støttet åpen standard, en AI-native kjerne med høy gjennomstrømning, eller en fullstendig styrt bedriftsplattform som kjører i ditt eget miljø. Det riktige valget avhenger av hvor mye du vil drifte selv kontra hvor mye styring du ønsker ut av boksen. For team som ønsker både kontroll og dybde, er TrueFoundry den du bør slå.
