Za veliko ekip prvo vprašanje o prehodu umetne inteligence ni »kaj zmore«, temveč »kje deluje«. Če delujete v regulirani panogi, ravnate z občutljivimi podatki ali ste preprosto alergični na pošiljanje vsakega poziva in odgovora prek oblaka nekoga drugega, gostovani prehod SaaS ni primeren, ne glede na to, kako dovršen je. Želite nekaj, kar lahko izvajate znotraj lastne infrastrukture, pregledujete in nadzorujete.
Dobra novica je, da je odprtokodni in samogostovalni del tega trga resnično močan. Prehod umetne inteligence je nadzorna ravnina med vašimi aplikacijami in ponudniki modelov, ki na enem mestu upravlja usmerjanje, zanesljivost, varnost in stroške, več najboljših pa je zdaj na voljo kot programska oprema, ki jo lahko gostite sami. Tukaj je pet programov, ki jih je vredno uvrstiti v ožji izbor, kadar je samogostovanje zahteva in ne nekaj lepega.
Kaj naj bi "samo-gostovanje" dejansko pomenilo
Pred seznamom še nekaj besed o pasti. »Odprta koda« in »samostojno gostovanje« nista ista stvar in nobeno od njiju ne zagotavlja, da je funkcija, ki jo potrebujete, že v brezplačni različici. Nekateri projekti ponujajo odprtokodno jedro za hitro usmerjanje, vendar ohranjajo upravljanje, shranjevanje za opazovanje in nadzor dostopa za več ekip v plačljivi različici. Zato ločeno ocenite tri stvari: ali programska oprema deluje v vašem okolju, ali so specifične zmogljivosti, ki jih potrebujete, v različici, ki jo lahko samostojno gostite, in ali podatki dejansko ostanejo v vaši infrastrukturi od začetka do konca. S tega vidika si lahko teh pet primerov primerjamo.
1. TrueFoundry – nadzorna ravnina podjetja, ki jo izvajate v svojem oblaku
TrueFoundry vodi na tem seznamu, ker je bil zgrajen ravno za omejitev, ki ekipe sili k lastnemu gostovanju: shranjevanje podatkov v lastnem okolju, ne da bi se pri tem odpovedali poslovnim zmogljivostim. Njegov AI Gateway se namesti znotraj vašega lastnega oblaka ali VPC-ja, tako da pozivi in sledi ostanejo v vaši infrastrukturi po regijah, hkrati pa vam še vedno zagotavlja en sam vmesnik, združljiv z OpenAI, za več kot 1,000 modelov, uravnoteženje obremenitve in rezervne možnosti, celoten nabor guardrails, dostop na podlagi vlog, proračune in opazovanje OpenTelemetry.
Sega tudi dlje kot čisti proxy. TrueFoundry upravlja strežnike in agente MCP prek iste nadzorne ravnine, njegov agentski sistem TrueForge pa je odprtokoden in nevtralen do prodajalcev, zato so deli, ki bi jih želeli pregledati in razširiti, odprti, medtem ko platforma sama deluje tam, kjer jo potrebujete. Za ekipe, ki si želijo samostojnega gostovanja odprtokodnega projekta, vendar globine in podpore poslovne platforme, je to kombinacija, ki jo je drugje težko najti. FloQast ga na primer v celoti izvaja v lastnem oblaku, da hrani finančne podatke v regijah ZDA, EU in azijsko-pacifiške regije, o čemer si lahko preberete v dokumentaciji in študijah primerov TrueFoundry AI Gateway .
Najboljše za: podjetja, ki potrebujejo shranjevanje podatkov in popolno upravljanje, medtem ko sami upravljajo prehod. Pozor: gre za bogato platformo, zato načrtujte uvedbo in ne pričakujte petminutne namestitve.
2. Portkey – hitro, priljubljeno odprtokodno usmerjevalno jedro
Portkey je svoj prehod odprl pod licenco MIT, jedro pa je resnično dober inženirski kos: lahek, z zelo nizko dodano latenco, usmerjanjem do velikega kataloga modelov z integriranimi varovali in enostavnim delovanjem kot vsebnik, ki ga gostite sami. Če želite preizkušen odprtokodni proxy, na katerem lahko gradite, je to eno najbolj priljubljenih izhodišč z dobrim razlogom.
Opozorilo je, kje je meja med brezplačnim in plačljivim. Samostojno gostovana gradnja vam nudi plast usmerjanja in zanesljivosti, medtem ko so shranjevanje in nadzorne plošče za opazovanje, dostop na podlagi vlog za več ekip, semantično predpomnjenje v velikem obsegu in podpora za podjetja v gostovanem ali poslovnem sloju. Torej se samostojno gosti tudi kot usmerjevalnik; celoten sklad upravljanja običajno pomeni plačljivi načrt.
Najboljše za: ekipe, ki si želijo vitkega, samostojno gostovanega usmerjevalnega sloja. Pozor: preden ga standardizirate, preverite, katere funkcije upravljanja so del odprte gradnje.
3. Envoy AI Gateway – odprti standard, ki ga podpira CNCF
Envoy AI Gateway razširja projekt CNCF Envoy Gateway z izvorno podporo za promet umetne inteligence in je leta 2026 dosegel stabilno različico 1.0. Ustvarjen in vzdrževan s strani Tetrate skupaj z Bloombergom, je prvi odprtokodni prehod umetne inteligence, ki ga podpira CNCF, kar je pomembno, če vam je mar za upravljanje, nevtralno do prodajalcev, in projekt, ki ga ne nadzoruje en sam komercialni prodajalec.
Ponuja vmesnik, združljiv z OpenAI, pri vseh glavnih ponudnikih modelov, poleg tega pa še usmerjanje, preklop ob okvari in sledenje OpenTelemetry GenAI v klepetu, vdelavah in drugih končnih točkah. Bloomberg ga že uporablja v produkciji. Slaba stran je, da gre za programsko opremo infrastrukturne ravni: zmogljivo in usklajeno s standardi, vendar pričakuje ekipo, ki se zna udobno upravljati z Envoyem in Kubernetesom, udobje višje ravni pa je bolj »naredi sam« kot pri upravljani platformi.
Najboljše za: platformske ekipe, ki želijo prehod, ki temelji na platformi Envoy in je skladen s standardom CNCF, nad katerim imajo popoln nadzor. Pozor: v proračunu upoštevajte operativno strokovnost, ki jo zahtevata Envoy in Kubernetes.
4. Higress – obsežno odprtokodno platformo, ki temelji na umetni inteligenci
Higress se je začel znotraj Alibabe, je bil odprtokoden pod Apache-2.0 in zgrajen na Istio in Envoy. Preizkušen je v velikem obsegu, s produkcijsko validacijo, ki obravnava več sto tisoč zahtev na sekundo, in spremembami konfiguracije, ki začnejo veljati v milisekundah, namesto da bi prisilile k motečim ponovnim nalaganju.
Na strani umetne inteligence podpira ponudnike modelov mainstream, lahko gosti strežnike MCP prek svojega mehanizma vtičnikov, tako da lahko agenti kličejo orodja, in zagotavlja enotno upravljanje za API-je LLM in MCP, skupaj z WAF in vrsto strategij za preverjanje pristnosti. Je odlična izbira, če sta vaši prioriteti surova zmogljivost in preizkušeno visokozmogljivo jedro. Kot pri drugih projektih, ki so usmerjeni v infrastrukturo, sta upravljanje na višji ravni in poliranje izdelka lažja kot pri namenski platformi za podjetja, težišče skupnosti pa je morda nekaterim zahodnim ekipam manj znano.
Najboljše za: ekipe, ki potrebujejo visokozmogljiv, popolnoma odprtokoden prehod, ki temelji na umetni inteligenci. Pozor: večji del upravljavske plasti boste sestavili sami.
5. Gloo AI Gateway – zasnovan na platformi Envoy in izvorno zasnovan za Kubernetes
Gloo AI Gateway podjetja Solo.io gradi upravljanje prometa z umetno inteligenco na zrelem prehodu, ki je izvorno zasnovan za Envoy in Kubernetes. Cilja na specifične potrebe prometa LLM: semantično predpomnjenje, omejevanje hitrosti na podlagi žetonov, obogatitev promptov, vbrizgavanje poverilnic prek skrivnosti Kubernetes in zaščita pred uhajanjem podatkov, da se prepreči uhajanje občutljivih informacij. Solo.io je svoj odprtokodni prehod podaril CNCF (kot kgateway), tako da gre za resnično odprto jedro.
Niansa odraža vzorec na tem seznamu: nekatere zmogljivosti, specifične za LLM, kot je omejevanje hitrosti na podlagi žetonov, so običajno del poslovne licence in ne brezplačnega jedra. Če že uporabljate Kubernetes in želite prehod, ki temelji na Envoyu in obravnava promet umetne inteligence kot prvovrstnega državljana, je to odlična izbira, če le funkcije, ki jih potrebujete, preslikate na pravo raven.
Najboljše za: Ekipe, ki uporabljajo veliko Kubernetes in želijo prehod, ki temelji na Envoyu, s funkcijami prometa umetne inteligence. Pozor: preverite, katere funkcije LLM zahtevajo izdajo Enterprise Edition.
Kako izbrati
Če želite samostojno izvajati in upravljati čisto odprtokodni projekt, vam Envoy AI Gateway in Higress nudita standardizirana, visokozmogljiva jedra, Gloo pa je dobra izbira, če ste že zavezani Envoyu na Kubernetes. Portkey je najlažji način za samostojno gostovanje usmerjevalne plasti, če sprejmete meje plasti. In če dejansko potrebujete podatke, ki ostanejo v vašem lastnem oblaku s popolnim upravljanjem in podporo podjetja, je TrueFoundry možnost, ki vam omogoča samostojno gostovanje, ne da bi vas prosila, da sami zgradite sklad za upravljanje.
Bottom line
Samostojno gostovanje prehoda za umetno inteligenco je včasih pomenilo odpoved funkcijam v korist nadzora. Leta 2026 to ne drži več: lahko dobite odprti standard, ki ga podpira CNCF, visokozmogljivo jedro, ki temelji na umetni inteligenci, ali popolnoma upravljano poslovno platformo, ki deluje v vašem lastnem okolju. Prava izbira je odvisna od tega, koliko želite upravljati sami in koliko upravljanja želite takoj po namestitvi. Za ekipe, ki si želijo tako nadzora kot globine, je TrueFoundry prava izbira.
