Za mnoge timove, prvo pitanje o AI gateway-u nije „šta može da uradi“, već „gdje se pokreće“. Ako radite u regulisanoj industriji, rukujete osjetljivim podacima ili ste jednostavno alergični na slanje svakog upita i odgovora putem tuđeg oblaka, hostovani SaaS gateway nije opcija bez obzira na to koliko je uglađen. Želite nešto što možete pokretati unutar vlastite infrastrukture, pregledavati i kontrolisati.
Dobra vijest je da je dio tržišta otvorenog koda i samostalnog hostovanja postao zaista jak. AI gateway je kontrolna ravan između vaših aplikacija i vaših dobavljača modela, koja upravlja usmjeravanjem, pouzdanošću, sigurnošću i troškovima na jednom mjestu, a nekoliko najboljih sada se isporučuje kao softver koji možete sami hostovati. Evo pet vrijednih izbora kada je samostalno hostovanje zahtjev, a ne nešto što je lijepo imati.
Šta bi "samostalno hostovano" zapravo trebalo značiti
Prije liste, kratka riječ o zamci. "Otvoreni kod" i "samostalno hostovanje" nisu ista stvar, i nijedno ne garantuje da se funkcija koja vam je potrebna nalazi u besplatnoj verziji. Neki projekti daju otvoreni kod za jezgro brzog usmjeravanja, ali zadržavaju upravljanje, pohranu za praćenje i kontrolu pristupa za više timova u plaćenoj verziji. Stoga odvojeno procijenite tri stvari: da li softver radi u vašem vlastitom okruženju, da li su specifične mogućnosti koje su vam potrebne u verziji koju možete samostalno hostovati i da li podaci zapravo ostaju u vašoj infrastrukturi od početka do kraja. S tim u vezi, evo kako se ovih pet stavki porede.
1. TrueFoundry — kontrolna ravnina preduzeća koju pokrećete u vlastitom oblaku
TrueFoundry predvodi ovu listu jer je izgrađen upravo za ograničenje koje gura timove ka samostalnom hostovanju: čuvanje podataka u vlastitom okruženju bez odustajanja od poslovnih mogućnosti. Njegov AI Gateway se implementira unutar vašeg vlastitog oblaka ili VPC-a, tako da upiti i tragovi ostaju u vašoj infrastrukturi regija po regija, a istovremeno vam pruža jedinstveno OpenAI-kompatibilno sučelje za više od 1,000 modela, balansiranje opterećenja i rezervne opcije, kompletan guardrails paket, pristup zasnovan na ulogama, budžete i mogućnost praćenja OpenTelemetry.
Također doseže dalje od čistog proxyja. TrueFoundry upravlja MCP serverima i agentima putem iste kontrolne ravni, a njegov agentski sistem, TrueForge, je otvorenog koda i neutralan u odnosu na dobavljače, tako da su dijelovi koje biste željeli pregledati i proširiti otvoreni dok sama platforma radi tamo gdje vam je potrebna. Za timove koji žele samostalni hosting položaj projekta otvorenog koda, ali dubinu i podršku poslovne platforme, ovo je kombinacija koju je teško pronaći negdje drugdje. FloQast, na primjer, ga u potpunosti pokreće unutar vlastitog oblaka kako bi finansijske podatke držao u regijama SAD-a, EU i APAC-a, o čemu možete pročitati u TrueFoundryjevoj AI Gateway dokumentaciji i studijama slučaja.
Najbolje za: preduzeća kojima je potrebno skladištenje podataka i potpuno upravljanje dok sami pokreću gateway. Pažnja: to je bogata platforma, stoga planirajte implementaciju umjesto da očekujete instalaciju od pet minuta.
2. Portkey — brzo, popularno jezgro za rutiranje otvorenog koda
Portkey je svoj gateway otvorio pod MIT licencom, a jezgro je zaista dobar komad inženjeringa: lagan, vrlo niske dodatne latencije, usmjerava ka velikom katalogu modela s integriranim zaštitnim ogradama i jednostavan za pokretanje kao kontejner koji sami hostujete. Ako želite provjereni proxy otvorenog koda na kojem možete graditi, to je jedna od najpopularnijih početnih tačaka s dobrim razlogom.
Problem je u tome gdje pada granica između besplatnog i plaćenog. Samostalno hostovana verzija vam daje sloj usmjeravanja i pouzdanosti, ali pohrana i nadzorne ploče za vidljivost, pristup zasnovan na ulogama za više timova, semantičko keširanje na velikim razmjerima i podrška za preduzeća nalaze se u hostovanom ili poslovnom sloju. Dakle, samostalno se hostuje dobro kao ruter; puni upravljački paket obično znači plaćeni plan.
Najbolje za: timove koji žele elegantan, samostalno hostovani sloj usmjeravanja. Pažnja: provjerite koje funkcije upravljanja postoje u otvorenoj verziji prije nego što je standardizujete.
3. Envoy AI Gateway — otvoreni standard podržan od strane CNCF-a
Envoy AI Gateway proširuje CNCF-ov projekt Envoy Gateway izvornom podrškom za AI promet, a dostigao je stabilnu verziju 1.0 2026. godine. Kreiran i održavan od strane Tetratea zajedno s Bloombergom, to je prvi AI gateway otvorenog koda koji podržava CNCF, što je važno ako vam je stalo do upravljanja neutralnog od strane dobavljača i projekta koji ne kontrolira jedan komercijalni dobavljač.
Nudi OpenAI-kompatibilni interfejs kod glavnih provajdera modela, plus usmjeravanje, prebacivanje u slučaju kvara i OpenTelemetry GenAI praćenje kroz chat, ugrađivanja i druge krajnje tačke. Bloomberg ga već koristi u produkciji. Nedostatak je što je to softver infrastrukturnog nivoa: moćan i usklađen sa standardima, ali očekuje tim koji se osjeća ugodno u radu sa Envoy-om i Kubernetes-om, a pogodnosti višeg nivoa su više „uradi sam“ nego u upravljanoj platformi.
Najbolje za: platformske timove koji žele CNCF standardni, Envoy-bazirani gateway koji u potpunosti kontroliraju. Pažnja: u budžetu treba osigurati operativnu stručnost koju zahtijevaju Envoy i Kubernetes.
4. Higress — visokorazmjerni, AI-nativni otvoreni kodni portal
Higress je započeo unutar Alibabe, bio je otvorenog koda pod Apache-2.0, a izgrađen je na Istio i Envoy platformama. Testiran je u velikim razmjerima, s produkcijskom validacijom koja obrađuje stotine hiljada zahtjeva u sekundi i promjenama konfiguracije koje stupaju na snagu u milisekundama umjesto da prisiljavaju na ometajuća ponovna učitavanja.
Što se tiče umjetne inteligencije, podržava glavne pružatelje modela, može hostirati MCP servere putem svog mehanizma dodataka tako da agenti mogu pozivati alate, te pruža objedinjeno upravljanje za LLM i MCP API-je, zajedno s WAF-om i nizom strategija autentifikacije. Odličan je izbor ako su vam prioriteti sirove performanse i dokazana jezgra visokog protoka. Kao i kod drugih projekata koji su prvenstveno usmjereni na infrastrukturu, upravljanje na višem nivou i poliranje proizvoda su lakši od namjenske poslovne platforme, a centar gravitacije zajednice može biti manje poznat nekim zapadnim timovima.
Najbolje za: timove kojima je potreban visokopropusni, potpuno otvoreni AI-nativni gateway. Pazite: veći dio upravljačkog sloja ćete sami sastaviti.
5. Gloo AI Gateway — baziran na Envoyu i nativni za Kubernetes
Gloo AI Gateway, od Solo.io, gradi upravljanje AI prometom na zrelom Envoy i Kubernetes-nativnom gatewayu. Cilja specifične potrebe LLM prometa: semantičko keširanje, ograničavanje brzine na temelju tokena, obogaćivanje prompta, ubrizgavanje vjerodajnica putem Kubernetes tajni i zaštita od izvlačenja podataka kako bi se spriječilo curenje osjetljivih informacija. Solo.io je donirao svoj open-source gateway CNCF-u (kao kgateway), tako da postoji istinski otvoreno jezgro.
Nijansa odražava obrazac na ovoj listi: neke od mogućnosti specifičnih za LLM, kao što je ograničavanje brzine na osnovu tokena, obično su dio poslovne licence, a ne besplatnog jezgra. Ako već koristite Kubernetes i želite gateway zasnovan na Envoyu koji tretira AI promet kao građanina prve klase, to je snažan izbor sve dok mapirate koje funkcije su vam potrebne na pravi nivo.
Najbolje za: Timove koji koriste Kubernetes tehnologiju i žele Envoy-bazirani gateway sa AI funkcijama prometa. Pažnja: provjerite koje LLM funkcije zahtijevaju Enterprise Edition.
Kako izabrati
Ako želite čisti open-source projekat koji možete sami pokretati i upravljati, Envoy AI Gateway i Higress vam nude standardizirane, visokoperformansne jezgre, a Gloo je snažan izbor kada ste već posvećeni Envoyu na Kubernetes-u. Portkey je najlakši način za samostalno hostiranje sloja usmjeravanja, pod uvjetom da prihvatite granice slojeva. A ako vam je zapravo potrebno da podaci ostanu u vašem vlastitom oblaku s potpunim upravljanjem i podrškom za preduzeća, TrueFoundry je opcija koja vam daje samostalno hostirani stav bez potrebe da sami gradite upravljački stek.
Suština
Samostalno hostovanje AI gateway-a nekada je značilo odricanje od funkcija zarad kontrole. U 2026. godini to više nije tačno: možete dobiti otvoreni standard podržan od strane CNCF-a, visokopropusnu AI-nativnu jezgru ili potpuno upravljanu poslovnu platformu koja radi unutar vašeg vlastitog okruženja. Pravi izbor svodi se na to koliko želite sami upravljati u odnosu na to koliko upravljanja želite odmah po instalaciji. Za timove koji žele i kontrolu i dubinu, TrueFoundry je onaj koji treba pobijediti.
