Sok csapat számára az első kérdés egy AI-átjáróval kapcsolatban nem az, hogy „mit tud csinálni”, hanem az, hogy „hol működik”. Ha egy szabályozott iparágban dolgozol, érzékeny adatokat kezelsz, vagy egyszerűen allergiás vagy arra, hogy minden kérdést és választ valaki más felhőjén keresztül küldj, akkor egy hosztolt SaaS-átjáró nem túl jó választás, függetlenül attól, hogy mennyire kidolgozott. Olyasmit szeretnél, amit a saját infrastruktúrádon belül futtathatsz, ellenőrizhetsz és vezérelhetsz.
A jó hír az, hogy a piac nyílt forráskódú és önállóan tárhelyszolgáltató oldala valóban megerősödött. Az AI-átjáró az alkalmazások és a modellszolgáltatók közötti vezérlősík, amely egy helyen kezeli az útvonalválasztást, a megbízhatóságot, a biztonságot és a költségeket, és a legjobbak közül több már olyan szoftverként is elérhető, amelyet saját maga is tárhelyként használhat. Íme öt olyan megoldás, amelyet érdemes kiválasztani, ha az önálló tárhelyszolgáltatás követelmény, nem pedig egy „jó, ha van” szükséglet.
Mit is jelent valójában az „önkiszolgáló” kifejezés?
A lista előtt egy gyors kitérő a csapdára. A „nyílt forráskódú” és az „önkiszolgáló” nem ugyanaz, és egyik sem garantálja, hogy a szükséges funkció megtalálható az ingyenes buildben. Egyes projektek nyílt forráskódúvá teszik a gyors útválasztási magot, de az irányítást, a megfigyelhetőségi tárolást és a többcsapatos hozzáférés-vezérlést fizetős szinten tartják. Tehát három dolgot kell külön-külön értékelni: hogy a szoftver fut-e a saját környezetedben, hogy a szükséges konkrét képességek megvannak-e abban a verzióban, amelyet önállóan is kiszolgáló lehet, és hogy az adatok valóban az infrastruktúrádban maradnak-e a végponttól a végéig. Ebből a szempontból nézve az öt megoldás így hasonlítható össze.
1. TrueFoundry – a vállalati vezérlősík, amelyet a saját felhőjében futtat
A TrueFoundry vezeti ezt a listát, mert pontosan arra a korlátra épült, ami a csapatokat az önálló tárhelyszolgáltatás felé tereli: az adatok saját környezetben tartása a vállalati képességek feladása nélkül. AI Gateway- je a saját felhőben vagy VPC-ben telepíthető, így a promptok és a nyomkövetések régiónként az infrastruktúra régiójában maradnak, miközben továbbra is egyetlen OpenAI-kompatibilis felületet biztosít több mint 1,000 modellhez, terheléselosztást és tartalék megoldásokat, teljes védőkorlát-csomagot, szerepköralapú hozzáférést, költségvetéseket és OpenTelemetry megfigyelhetőséget.
Ez a platform messzebbre terjed ki, mint egy puszta proxy. A TrueFoundry ugyanazon a vezérlősíkon keresztül irányítja az MCP-kiszolgálókat és ügynököket, és az ügynökfelülete, a TrueForge, nyílt forráskódú és gyártósemleges, így a megvizsgálni és bővíteni kívánt elemek nyitottak, miközben maga a platform ott fut, ahol szükség van rájuk. Azoknak a csapatoknak, amelyek egy nyílt forráskódú projekt önálló tárhelyszolgáltatási helyzetére, de egy vállalati platform mélységére és támogatására vágynak, ez az a kombináció, amelyet máshol nehéz megtalálni. A FloQast például teljes egészében a saját felhőjében futtatja, hogy a pénzügyi adatokat az USA, az EU és az APAC régiókban is tárolja, amiről a TrueFoundry AI Gateway dokumentációjában és esettanulmányaiban olvashat.
Legjobb választás: olyan vállalatok számára, amelyeknek adattárolásra és teljes körű irányításra van szükségük, miközben maguk üzemeltetik az átjárót. Vigyázat: ez egy sokoldalú platform, ezért tervezze meg a bevezetést ahelyett, hogy ötperces telepítésre számítana.
2. Portkey – egy gyors, népszerű, nyílt forráskódú útválasztó mag
A Portkey MIT licenc alatt nyílt forráskódúvá tette az átjáróját, és a mag valóban jó mérnöki munka: könnyű, nagyon alacsony hozzáadott késleltetés, egy nagy modellkatalógushoz irányít integrált védőkorlátokkal, és könnyen futtatható saját konténerként. Ha egy bevált, nyílt forráskódú proxyra van szüksége, amire építhet, ez jó okkal az egyik legnépszerűbb kiindulópont.
A kikötés az ingyenes és a fizetős csomag közötti határvonal. Az önállóan üzemeltetett build biztosítja az útválasztást és a megbízhatósági réteget, de a megfigyelhetőségi tárhely és irányítópultok, a többcsapatos szerepköralapú hozzáférés, a nagyméretű szemantikus gyorsítótárazás és a vállalati támogatás a üzemeltetett vagy vállalati szinten található. Tehát önállóan üzemelteti, mint egy router; a teljes irányítási verem általában a fizetős csomagot jelenti.
Legjobb: olyan csapatoknak, amelyek egy letisztult, saját üzemeltetésű útválasztási réteget szeretnének. Figyelem: a szabványosítás előtt ellenőrizze, hogy mely irányítási funkciók vannak jelen a nyílt buildben.
3. Envoy AI Gateway – a CNCF által támogatott nyílt szabvány
Az Envoy AI Gateway kiterjeszti a CNCF Envoy Gateway projektjét natív MI-forgalom támogatással, és 2026-ban elérte a stabil 1.0-s verziót. A Tetrate és a Bloomberg által közösen létrehozott és karbantartott projekt az első CNCF által támogatott, nyílt forráskódú MI-átjáró, ami akkor fontos, ha fontos a szállítósemleges irányítás és egy olyan projekt, amelyet nem egyetlen kereskedelmi szállító irányít.
OpenAI-kompatibilis felületet kínál a főbb modellszolgáltatókon keresztül, valamint útválasztást, feladatátvételt és OpenTelemetry GenAI nyomkövetést chaten, beágyazásokon és egyéb végpontokon keresztül. A Bloomberg már éles környezetben futtatja. A kompromisszum az, hogy infrastruktúra-szintű szoftverről van szó: hatékony és szabványos, de elvárja, hogy a csapat kényelmesen kezelje az Envoy-t és a Kubernetes-t, és a magasabb szintű kényelmi funkciók inkább házilag elvégezhetők, mint egy menedzselt platformon.
Legjobb: olyan platformcsapatoknak, amelyek egy CNCF-szabványú, Envoy-alapú átjárót szeretnének, amelyet teljes mértékben ellenőriznek. Figyelem: tervezzen költségvetést az Envoy és a Kubernetes által megkövetelt operatív szakértelemre.
4. Higress – nagyméretű, mesterséges intelligencián alapuló nyílt forráskódú átjáró
A Higress az Alibabán belül indult, nyílt forráskódú volt az Apache-2.0 alatt, és az Istio és az Envoy platformokra épül. Nagy léptékben tesztelték, az éles validáció másodpercenként több százezer kérést kezel, és a konfigurációs változtatások ezredmásodpercek alatt lépnek életbe, ahelyett, hogy zavaró újratöltéseket kényszerítenének ki.
A mesterséges intelligencia oldalán támogatja a mainstream modellszolgáltatókat, bővítménymechanizmusán keresztül képes MCP-kiszolgálókat üzemeltetni, így az ügynökök eszközöket hívhatnak, és egységes felügyeletet biztosít mind az LLM, mind az MCP API-khoz, a WAF-fal és számos hitelesítési stratégiával együtt. Kiváló választás, ha a nyers teljesítmény és a bizonyítottan nagy áteresztőképességű mag a prioritás. Mint más infrastruktúrára épülő projektek esetében, a magasabb szintű irányítás és a termékfejlesztés könnyebb, mint egy dedikált vállalati platformon, és a közösségi súlypont kevésbé ismerős lehet egyes nyugati csapatok számára.
Legjobb: olyan csapatoknak, amelyeknek nagy áteresztőképességű, teljesen nyílt forráskódú, mesterséges intelligencián alapuló átjáróra van szükségük. Vigyázat: az irányítási réteg nagyobb részét magadnak kell összeállítanod.
5. Gloo AI Gateway — Envoy-alapú és Kubernetes-natív
A Solo.io Gloo AI Gateway-je egy kiforrott, Envoy- és Kubernetes-natív átjáróra épít mesterséges intelligencián alapuló forgalomkezelést. Az LLM forgalom speciális igényeit célozza meg: szemantikus gyorsítótárazás, token-alapú sebességkorlátozás, azonnali dúsítás, hitelesítő adatok injektálása Kubernetes-titkokon keresztül, valamint adatlopás elleni védelem a bizalmas információk kiszivárgásának megakadályozása érdekében. A Solo.io nyílt forráskódú átjáróját a CNCF-nek adományozta (kgateway-ként), így valóban nyílt magról van szó.
Az árnyaltság tükrözi a lista mintáját: néhány LLM-specifikus képesség, mint például a token alapú sebességkorlátozás, jellemzően a vállalati licenc részét képezi, nem pedig az ingyenes magot. Ha már Kubernetes-t futtatsz, és egy Envoy-alapú átjárót szeretnél, amely első osztályú polgárként kezeli a mesterséges intelligencia forgalmát, akkor ez egy nagyszerű választás, amennyiben a megfelelő szinthez rendeled a szükséges funkciókat.
Legjobb: Kubernetes-központú csapatoknak, amelyek Envoy-alapú átjárót szeretnének AI forgalmi funkciókkal. Figyelem: ellenőrizze, hogy mely LLM-funkciókhoz szükséges a vállalati kiadás.
Hogyan válasszuk ki
Ha egy tisztán nyílt forráskódú projektet szeretnél saját magad futtatni és üzemeltetni, az Envoy AI Gateway és a Higress szabványoknak megfelelő, nagy teljesítményű magokat kínál, a Gloo pedig jó választás, ha már elkötelezett vagy az Envoy Kubernetes mellett. A Portkey a legkönnyebb módja egy útválasztási réteg saját üzemeltetésének, feltéve, hogy elfogadod a réteghatárokat. És ha valójában arra van szükséged, hogy az adatok a saját felhődben maradjanak, teljes vállalati irányítással és támogatással mögötte, a TrueFoundry az a lehetőség, amely önálló üzemeltetést biztosít anélkül, hogy magadnak kellene felépítened az irányítási rendszert.
Az alsó sorban
Egy MI-átjáró saját üzemeltetésűvé tétele régebben azt jelentette, hogy funkciókról kellett lemondani az irányítás kedvéért. 2026-ban ez már nem igaz: választhatunk CNCF által támogatott nyílt szabványt, nagy áteresztőképességű MI-natív magot vagy egy teljes mértékben felügyelt vállalati platformot, amely a saját környezetünkben fut. A megfelelő választás azon múlik, hogy mennyire szeretnénk saját magunk üzemeltetni, és mennyire szeretnénk alapból irányítani. Azoknak a csapatoknak, amelyek mind az irányítást, mind a mélységet szeretnék, a TrueFoundry a legjobb választás.
