För många team är den första frågan om en AI-gateway inte "vad kan den göra" utan "var körs den". Om du arbetar i en reglerad bransch, hanterar känslig data eller helt enkelt är allergisk mot att skicka varje prompt och svar via någon annans moln, är en hostad SaaS-gateway en självklarhet oavsett hur välutvecklad den är. Du vill ha något du kan köra i din egen infrastruktur, inspektera och kontrollera.
Den goda nyheten är att den delen av marknaden som är baserad på öppen källkod och självhostning har blivit riktigt stark. En AI-gateway är kontrollplanet mellan dina applikationer och dina modellleverantörer, och hanterar routing, tillförlitlighet, säkerhet och kostnad på ett ställe, och flera av de bästa levereras nu som programvara som du kan hosta själv. Här är fem som är värda att lista ut när självhostning är ett krav, inte något som är bra att ha.
Vad "självhostbar" egentligen borde betyda
Innan listan, ett kort ord om fällan. ”Öppen källkod” och ”självhostbar” är inte samma sak, och ingen av dem garanterar att funktionen du behöver finns i gratisversionen. Vissa projekt använder öppen källkod för en snabb routningskärna men behåller styrning, observerbarhetslagring och åtkomstkontroll för flera team i en betald nivå. Så utvärdera tre saker separat: om programvaran körs i din egen miljö, om de specifika funktioner du behöver finns i den version du kan självhosta, och om data faktiskt finns kvar i din infrastruktur från början till slut. Med det i åtanke kan du jämföra dessa fem saker så här.
1. TrueFoundry — det företagsstyrningssystem du kör i ditt eget moln
TrueFoundry toppar den här listan eftersom det byggdes för just den begränsning som driver team mot självhosting: att lagra data i er egen miljö utan att ge upp företagskapacitet. Dess AI-gateway distribueras i ert eget moln eller VPC, så prompts och spårningar stannar kvar i er infrastruktur region för region, samtidigt som ni får ett enda OpenAI-kompatibelt gränssnitt till över 1 000 modeller, lastbalansering och reservlösningar, en komplett guardrails-svit, rollbaserad åtkomst, budgetar och OpenTelemetry-observabilitet.
Den når också längre än bara en proxy. TrueFoundry styr MCP-servrar och agenter genom samma kontrollplan, och dess agentstam, TrueForge, är öppen källkod och leverantörsneutral, så de delar du vill inspektera och utöka är öppna medan själva plattformen körs där du behöver den. För team som vill ha den självhostande ställningen hos ett öppen källkodsprojekt men djupet och stödet hos en företagsplattform är detta den kombination som är svår att hitta någon annanstans. FloQast, till exempel, kör det helt i sitt eget moln för att hålla finansiella data lagrad i USA, EU och APAC-regionerna, vilket du kan läsa om i TrueFoundrys AI Gateway-dokumentation och fallstudier.
Bäst för: företag som behöver datalagring och fullständig styrning samtidigt som de själva kör gatewayen. Se upp: det är en omfattande plattform, så planera utrullningen snarare än att förvänta sig en installation på fem minuter.
2. Portkey — en snabb, populär routingkärna med öppen källkod
Portkey har öppnat sin gateway under en MIT-licens, och kärnan är ett verkligt bra ingenjörskonstverk: lättviktig, mycket låg latens, routning till en stor modellkatalog med integrerade skyddsräcken och enkel att köra som en container som du själv hostar. Om du vill ha en beprövad öppen källkodsproxy att bygga vidare på är det en av de mest populära utgångspunkterna av goda skäl.
Förbehållet är var gränsen går mellan gratis och betalt. Den självhostade versionen ger dig routing- och tillförlitlighetslagret, men observerbarhetslagring och dashboards, rollbaserad åtkomst för flera team, semantisk cachning i stor skala och företagssupport finns på den hostade eller företagsnivån. Så den självhostar bra som en router; en fullständig styrningsstack innebär vanligtvis det betalda abonnemanget.
Bäst för: team som vill ha ett smidigt, självhostat routinglager. Se upp: bekräfta vilka styrningsfunktioner som finns i den öppna versionen innan du standardiserar den.
3. Envoy AI Gateway — den CNCF-stödda öppna standarden
Envoy AI Gateway utökar CNCF:s Envoy Gateway-projekt med inbyggt stöd för AI-trafik, och det nådde en stabil version 1.0 år 2026. Skapad och underhållen av Tetrate tillsammans med Bloomberg, är det den första CNCF-stödda AI-gatewayen med öppen källkod, vilket är viktigt om du bryr dig om leverantörsneutral styrning och ett projekt som inte kontrolleras av en enda kommersiell leverantör.
Den erbjuder ett OpenAI-kompatibelt gränssnitt för de stora modellleverantörerna, plus routing, redundans och OpenTelemetry GenAI-spårning över chatt, inbäddningar och andra slutpunkter. Bloomberg kör det redan i produktion. Avvägningen är att det är programvara i infrastrukturklass: kraftfull och standardanpassad, men den förväntar sig ett team som är bekvämt med att använda Envoy och Kubernetes, och bekvämligheter på högre nivå är mer gör-det-själv-liknande än i en hanterad plattform.
Bäst för: plattformsteam som vill ha en CNCF-standardiserad, Envoy-baserad gateway som de har full kontroll över. Se upp: budgetera för den operativa expertis som Envoy och Kubernetes kräver.
4. Higress — en storskalig, AI-baserad öppen källkodsgateway
Higress startade i Alibaba, var öppen källkod under Apache-2.0 och är byggt på Istio och Envoy. Det är testat i stor skala, med produktionsvalidering som hanterar hundratusentals förfrågningar per sekund och konfigurationsändringar som träder i kraft på millisekunder snarare än att tvinga fram störande omladdningar.
På AI-sidan stöder den vanliga modellleverantörer, kan vara värd för MCP-servrar genom sin plugin-mekanism så att agenter kan anropa verktyg, och tillhandahåller enhetlig hantering för både LLM- och MCP-API:er, tillsammans med WAF och en rad autentiseringsstrategier. Det är ett utmärkt val om rå prestanda och en beprövad kärna med hög genomströmning är dina prioriteringar. Precis som med andra infrastrukturfokuserade projekt är den övergripande styrningen och produktpoleringen lättare än en dedikerad företagsplattform, och community-tyngdpunkten kan vara mindre bekant för vissa västerländska team.
Bäst för: team som behöver en högkapacitets, helt öppen källkodsbaserad AI-nativ gateway. Se upp: du kommer att montera mer av styrningslagret själv.
5. Gloo AI Gateway — Envoy-baserad och Kubernetes-nativ
Gloo AI Gateway, från Solo.io, bygger AI-trafikhantering ovanpå en mogen Envoy- och Kubernetes-nativ gateway. Den riktar sig till de specifika behoven hos LLM-trafik: semantisk cachning, tokenbaserad hastighetsbegränsning, snabb anrikning, inmatning av autentiseringsuppgifter via Kubernetes-hemligheter och dataexfiltreringsskydd för att förhindra att känslig information läcker. Solo.io donerade sin öppen källkodsgateway till CNCF (som kgateway), så det finns en genuin öppen kärna.
Nyanserna speglar mönstret på den här listan: vissa av de LLM-specifika funktionerna, som tokenbaserad hastighetsbegränsning, är vanligtvis en del av företagslicensen snarare än den kostnadsfria kärnan. Om du redan kör Kubernetes och vill ha en Envoy-baserad gateway som behandlar AI-trafik som en förstklassig medborgare, är det en stark lösning så länge du mappar vilka funktioner du behöver till rätt nivå.
Bäst för: Kubernetes-tunga team som vill ha en Envoy-baserad gateway med AI-trafikfunktioner. Se upp: kontrollera vilka LLM-funktioner som kräver Enterprise-utgåvan.
Hur man väljer
Om du vill ha ett rent öppen källkodsprojekt att köra och drifta själv, ger Envoy AI Gateway och Higress dig standardanpassade, högpresterande kärnor, och Gloo är ett starkt val när du redan är dedikerad till Envoy på Kubernetes. Portkey är det enklaste sättet att självhosta ett routinglager, förutsatt att du accepterar nivågränserna. Och om det du faktiskt behöver är data som lagras i ditt eget moln med fullständig företagsstyrning och support bakom det, är TrueFoundry alternativet som ger dig den självhostade positionen utan att be dig bygga styrningsstacken själv.
Summan av kardemumman
Att självhosta en AI-gateway brukade betyda att man gav upp funktioner för kontroll. År 2026 är det inte längre sant: du kan få en CNCF-stödd öppen standard, en AI-nativ kärna med hög kapacitet eller en helt styrd företagsplattform som körs i din egen miljö. Rätt val beror på hur mycket du vill driva själv kontra hur mycket styrning du vill ha direkt ur lådan. För team som vill ha både kontroll och djup är TrueFoundry det bästa att slå.
