Vir baie spanne is die eerste vraag oor 'n KI-poort nie "wat kan dit doen" nie, maar "waar loop dit." As jy in 'n gereguleerde bedryf is, sensitiewe data hanteer, of bloot allergies is om elke aanwysing en antwoord deur iemand anders se wolk te stuur, is 'n gehoste SaaS-poort 'n nie-aanvangsopsie, maak nie saak hoe gepoleer dit is nie. Jy wil iets hê wat jy binne jou eie infrastruktuur kan laat loop, inspekteer en beheer.
Die goeie nuus is dat die oopbron- en selfhosting-kant van hierdie mark werklik sterk geword het. 'n KI-poort is die beheervlak tussen jou toepassings en jou modelverskaffers, wat roetering, betroubaarheid, sekuriteit en koste op een plek hanteer, en verskeie van die bestes word nou as sagteware gestuur wat jy self kan aanbied. Hier is vyf wat die moeite werd is om op die kortlys te plaas wanneer selfhosting 'n vereiste is, nie 'n lekker ding om te hê nie.
Wat "self-hostable" eintlik moet beteken
Voor die lys, 'n kort woordjie oor die lokval. "Oopbron" en "self-hostable" is nie dieselfde ding nie, en nie een waarborg dat die funksie wat jy benodig in die gratis weergawe is nie. Sommige projekte maak oopbron van 'n vinnige roeteringskern, maar hou die bestuur, waarneembaarheidsberging en multi-span toegangsbeheer in 'n betaalde vlak. Evalueer dus drie dinge afsonderlik: of die sagteware in jou eie omgewing loop, of die spesifieke vermoëns wat jy benodig in die weergawe is wat jy self kan hosteer, en of data eintlik van begin tot einde in jou infrastruktuur bly. Met daardie lens, hier is hoe hierdie vyf vergelyk.
1. TrueFoundry — die ondernemingsbeheervlak wat jy in jou eie wolk bestuur
TrueFoundry lei hierdie lys omdat dit gebou is vir presies die beperking wat spanne na selfhosting dryf: om data in jou eie omgewing te hou sonder om ondernemingsvermoë prys te gee. Die KI-gateway word binne jou eie wolk of VPC ontplooi, sodat aanwysings en spore in jou infrastruktuur streek vir streek bly, terwyl dit jou steeds 'n enkele OpenAI-versoenbare koppelvlak bied vir meer as 1 000 modelle, lasbalansering en terugval, 'n volledige skutrelingsreeks, rolgebaseerde toegang, begrotings en OpenTelemetry-waarneembaarheid.
Dit strek ook verder as net 'n suiwer proxy. TrueFoundry beheer MCP-bedieners en -agente deur dieselfde beheervlak, en sy agent-harnas, TrueForge, is oopbron en verskaffer-neutraal, so die stukke wat jy wil inspekteer en uitbrei, is oop terwyl die platform self loop waar jy dit nodig het. Vir spanne wat die self-gasheer-houding van 'n oopbronprojek wil hê, maar die diepte en ondersteuning van 'n ondernemingsplatform, is dit die kombinasie wat moeilik is om elders te vind. FloQast, byvoorbeeld, laat dit volledig binne sy eie wolk loop om finansiële data regoor die VSA-, EU- en APAC-streke te hou, waaroor jy kan lees in TrueFoundry se KI Gateway-dokumentasie en gevallestudies.
Die beste vir: ondernemings wat data-residensie en volle beheer benodig terwyl hulle die toegangspoort self bedryf. Pasop: dis 'n ryk platform, so beplan die uitrol eerder as om 'n vyf-minuut-installasie te verwag.
2. Portkey — 'n vinnige, gewilde oopbron-roeteringskern
Portkey het sy poort oopbron-gebaseer onder 'n MIT-lisensie, en die kern is 'n werklik goeie stuk ingenieurswese: liggewig, baie lae bygevoegde latensie, roetering na 'n groot modelkatalogus met geïntegreerde relings, en maklik om te bestuur as 'n houer wat jy self aanbied. As jy 'n bewese oopbron-instaanbediener wil hê om op te bou, is dit met goeie rede een van die gewildste beginpunte.
Die voorbehoud is waar die lyn tussen gratis en betaald val. Die selfgehoste weergawe gee jou die roeterings- en betroubaarheidslaag, maar die waarneembaarheidsberging en dashboards, multi-span rolgebaseerde toegang, semantiese kasgeheue op groot skaal, en ondernemingsondersteuning sit in die gehoste of ondernemingsvlak. Dit selfhost dus goed as 'n router; 'n volledige bestuurstapel beteken gewoonlik die betaalde plan.
Beste vir: spanne wat 'n skraal, selfgehoste roeteringslaag wil hê. Pasop: bevestig watter bestuurskenmerke in die oop bou is voordat jy daarop standaardiseer.
3. Envoy AI Gateway — die CNCF-gesteunde oop standaard
Envoy AI Gateway brei die CNCF se Envoy Gateway-projek uit met inheemse ondersteuning vir KI-verkeer, en dit het 'n stabiele 1.0 in 2026 bereik. Geskep en onderhou deur Tetrate saam met Bloomberg, is dit die eerste CNCF-gesteunde oopbron KI-gateway, wat saak maak as jy omgee vir verskaffer-neutrale bestuur en 'n projek wat nie deur 'n enkele kommersiële verskaffer beheer word nie.
Dit bied 'n OpenAI-versoenbare koppelvlak oor die hoofmodelverskaffers, plus roetering, oorskakeling en OpenTelemetry GenAI-nasporing oor klets, inbeddings en ander eindpunte. Bloomberg gebruik dit reeds in produksie. Die kompromie is dat dit infrastruktuurgraad-sagteware is: kragtig en standaarde-belyn, maar dit verwag 'n span wat gemaklik is om Envoy en Kubernetes te gebruik, en hoërvlakgeriewe is meer selfdoen as in 'n bestuurde platform.
Die beste vir: platformspanne wat 'n CNCF-standaard, Envoy-gebaseerde toegangspoort wil hê wat hulle ten volle beheer. Pasop: begroting vir die operasionele kundigheid wat Envoy en Kubernetes vereis.
4. Higress — 'n grootskaalse, KI-inheemse oopbron-toegangspoort
Higress het binne Alibaba begin, was oopbron onder Apache-2.0, en is gebou op Istio en Envoy. Dit is op groot skaal gevegsgetoets, met produksievalidering wat honderdduisende versoeke per sekonde hanteer en konfigurasieveranderinge wat binne millisekondes in werking tree eerder as om ontwrigtende herlaaie af te dwing.
Aan die KI-kant ondersteun dit hoofstroommodelverskaffers, kan dit MCP-bedieners deur sy inpropmeganisme huisves sodat agente gereedskap kan aanroep, en bied dit verenigde bestuur vir beide LLM- en MCP-API's, tesame met WAF en 'n reeks verifikasiestrategieë. Dit is 'n uitstekende keuse as rou werkverrigting en 'n bewese hoë-deursetkern jou prioriteite is. Soos met ander infrastruktuur-eerste projekte, is die hoërvlak-bestuur en produkpolitoer ligter as 'n toegewyde ondernemingsplatform, en die gemeenskap se swaartepunt is dalk minder bekend vir sommige Westerse spanne.
Die beste vir: spanne wat 'n hoë-deurset, volledig oopbron KI-inheemse toegangspoort benodig. Pasop: jy sal meer van die bestuurslaag self saamstel.
5. Gloo KI Gateway — Gebaseerd op Envoy en Kubernetes-inheems
Gloo KI-gateway, van Solo.io, bou KI-verkeersbestuur bo-op 'n volwasse Envoy- en Kubernetes-inheemse gateway. Dit teiken die spesifieke behoeftes van LLM-verkeer: semantiese kasgeheue, token-gebaseerde tempobeperking, vinnige verryking, geloofsbriewe-inspuiting via Kubernetes-geheime, en data-uitfiltrasiebeskerming om te verhoed dat sensitiewe inligting lek. Solo.io het sy oopbron-gateway aan die CNCF (as kgateway) geskenk, so daar is 'n egte oop kern.
Die nuanse weerspieël die patroon op hierdie lys: sommige van die LLM-spesifieke vermoëns, soos token-gebaseerde tempobeperking, is tipies deel van die ondernemingslisensie eerder as die gratis kern. As jy reeds Kubernetes gebruik en 'n Envoy-gebaseerde poort wil hê wat KI-verkeer as 'n eersteklas burger behandel, is dit 'n goeie pasmaat solank jy die funksies wat jy benodig, op die regte vlak karteer.
Beste vir: Kubernetes-swaar spanne wat 'n Envoy-gebaseerde gateway met KI-verkeersfunksies wil hê. Pasop: kyk watter LLM-funksies die ondernemingsuitgawe vereis.
Hoe om van te kies
As jy 'n suiwer oopbronprojek wil hê om self te bestuur en te bedryf, bied Envoy AI Gateway en Higress jou standaardgerigte, hoëprestasie-kerne, en Gloo is 'n sterk keuse wanneer jy reeds verbind is tot Envoy op Kubernetes. Portkey is die ligste manier om 'n roeteringslaag self te huisves, mits jy die vlakgrense aanvaar. En as wat jy eintlik nodig het, data is wat in jou eie wolk bly met volle ondernemingsbestuur en ondersteuning daaragter, is TrueFoundry die opsie wat jou die selfgehuisveste houding gee sonder om jou te vra om self die bestuurstapel te bou.
Die bottom line
Om 'n KI-poort self te huisves, het voorheen beteken dat jy funksies vir beheer prysgee. In 2026 is dit nie meer waar nie: jy kan 'n CNCF-gesteunde oop standaard, 'n hoë-deurset KI-inheemse kern of 'n volledig beheerde ondernemingsplatform kry wat binne jou eie omgewing loop. Die regte keuse kom neer op hoeveel jy self wil bestuur teenoor hoeveel beheer jy uit die boks wil hê. Vir spanne wat beide beheer en diepte wil hê, is TrueFoundry die een om te klop.
