За многе тимове, прво питање о AI gateway-у није „шта може да уради“ већ „где ради“. Ако радите у регулисаној индустрији, рукујете осетљивим подацима или сте једноставно алергични на слање сваког упита и одговора преко туђег облака, хостовани SaaS gateway је неприхватљив без обзира на то колико је углачан. Желите нешто што можете да покрећете унутар сопствене инфраструктуре, да прегледате и контролишете.
Добра вест је да је део овог тржишта отвореног кода и самосталног хостовања заиста ојачао. АИ капија је контролна раван између ваших апликација и ваших добављача модела, која управља рутирањем, поузданошћу, безбедношћу и трошковима на једном месту, а неколико најбољих се сада испоручује као софтвер који можете сами хостовати. Ево пет вреди навести ужи избор када је самостално хостовање услов, а не нешто што је лепо имати.
Шта би заправо требало да значи „самостално хостован“
Пре листе, кратка реч о замки. „Отворени код“ и „самостално хостовање“ нису иста ствар, и ниједно не гарантује да се функција која вам је потребна налази у бесплатној верзији. Неки пројекти дају отворени код за језгро брзог рутирања, али задржавају управљање, складиштење за видљивост и контролу приступа за више тимова у плаћеном нивоу. Зато процените три ствари одвојено: да ли софтвер ради у вашем окружењу, да ли су специфичне могућности које су вам потребне у верзији коју можете самостално хостовати и да ли подаци заиста остају у вашој инфраструктури од почетка до краја. Са те тачке гледишта, ево како се ових пет ствари пореде.
1. TrueFoundry — управљачка раван предузећа коју покрећете у сопственом облаку
TrueFoundry предводи ову листу јер је направљен управо за ограничење које гура тимове ка самосталном хостовању: чување података у сопственом окружењу без одустајања од пословних могућности. Његов AI Gateway се распоређује унутар вашег сопственог облака или VPC-а, тако да упити и трагови остају у вашој инфраструктури регион по регион, док вам и даље пружа јединствени OpenAI компатибилан интерфејс за преко 1,000 модела, балансирање оптерећења и резервне опције, комплетан пакет guardrails, приступ заснован на улогама, буџете и OpenTelemetry видљивост.
Такође досеже даље од чистог проксија. TrueFoundry управља MCP серверима и агентима преко исте контролне равни, а његов агентски пакет, TrueForge, је отвореног кода и неутралан у односу на произвођаче, тако да су делови које бисте желели да прегледате и проширите отворени док сама платформа ради тамо где вам је потребна. За тимове који желе самостално хостовање пројекта отвореног кода, али дубину и подршку пословне платформе, ово је комбинација коју је тешко пронаћи негде другде. FloQast, на пример, га у потпуности покреће унутар сопственог облака како би финансијски подаци били смештен у регионима САД, ЕУ и Азијско-пацифичког региона, о чему можете прочитати у TrueFoundry-јевој AI Gateway документацији и студијама случаја.
Најбоље за: предузећа којима је потребно складиштење података и потпуно управљање док сами покрећу мрежни пролаз. Пазите: то је богата платформа, зато планирајте имплементацију уместо да очекујете инсталацију од пет минута.
2. Portkey — брзо, популарно језгро за рутирање отвореног кода
Порткеј је отворио код свог проксија под МИТ лиценцом, а језгро је заиста добар инжењерски комад: лаган, са веома ниском додатном латенцијом, усмерава ка великом каталогу модела са интегрисаним заштитним оградама и једноставан за покретање као контејнер који сами хостујете. Ако желите проверени прокси отвореног кода на којем ћете градити, то је једна од најпопуларнијих полазних тачака са добрим разлогом.
Проблем је у томе где пада граница између бесплатног и плаћеног. Самостално хостована верзија вам даје слој рутирања и поузданости, али складиштење и контролне табле за видљивост, приступ заснован на улогама за више тимова, семантичко кеширање великих размера и подршка за предузећа налазе се у хостованом или пословном нивоу. Дакле, самостално се хостује добро као рутер; потпуни стек управљања обично значи плаћени план.
Најбоље за: тимове који желе витки, самостално хостовани слој рутирања. Пазите: проверите које функције управљања постоје у отвореној верзији пре него што је стандардизујете.
3. Envoy AI Gateway — отворени стандард који подржава CNCF
Envoy AI Gateway проширује CNCF-ов пројекат Envoy Gateway са изворном подршком за AI саобраћај, и достигао је стабилну верзију 1.0 2026. године. Креиран и одржаван од стране Tetrate-а заједно са Bloomberg-ом, то је први CNCF-ов AI gateway отвореног кода који подржава, што је важно ако вам је стало до управљања неутралног од стране добављача и пројекта који не контролише један комерцијални добављач.
Нуди интерфејс компатибилан са OpenAI код главних добављача модела, плус рутирање, пребацивање у случају отказа и OpenTelemetry GenAI праћење кроз ћаскање, уграђивања и друге крајње тачке. Bloomberg га већ користи у продукцији. Компромис је у томе што је софтвер инфраструктурног нивоа: моћан и усклађен са стандардима, али очекује тим који се удобно носи са Envoy-ом и Kubernetes-ом, а погодности вишег нивоа су више „уради сам“ него у управљаној платформи.
Најбоље за: платформске тимове који желе CNCF стандардни, Envoy-базирани gateway који у потпуности контролишу. Пазите: у буџету треба обезбедити оперативну стручност коју захтевају Envoy и Kubernetes.
4. Higress — високоразмерни, вештачки интелигентно засновани платформски пролаз отвореног кода
Хигрес је започео унутар Алибабе, био је отвореног кода под Apache-2.0 и изграђен је на Istio-у и Envoy-у. Тестиран је у великим размерама, са валидацијом производње која обрађује стотине хиљада захтева у секунди и променама конфигурације које ступају на снагу у милисекундама, уместо да приморавају на ометајућа поновна учитавања.
Што се тиче вештачке интелигенције, подржава главне добављаче модела, може да хостује MCP сервере путем свог механизма додатака тако да агенти могу да позивају алате, и пружа јединствено управљање за LLM и MCP API-је, заједно са WAF-ом и низом стратегија аутентификације. Одличан је избор ако су вам приоритети сирове перформансе и доказано језгро високог протока. Као и код других пројеката који су првенствено усмерени на инфраструктуру, управљање на вишем нивоу и полирање производа су лакши него код наменске пословне платформе, а центар гравитације заједнице може бити мање познат неким западним тимовима.
Најбоље за: тимове којима је потребан високопропусни, потпуно отвореног кода, AI-нативни гејтвеј. Пазите: већи део управљачког слоја ћете сами саставити.
5. Gloo AI Gateway — базиран на Envoy-у и нативни за Kubernetes
Gloo AI Gateway, од Solo.io, гради управљање AI саобраћајем на зрелом Envoy и Kubernetes-нативном gateway-у. Циља на специфичне потребе LLM саобраћаја: семантичко кеширање, ограничавање брзине засновано на токенима, брзо обогаћивање, убризгавање акредитива путем Kubernetes тајни и заштиту од извлачења података како би се спречило цурење осетљивих информација. Solo.io је донирао свој open-source gateway CNCF-у (као kgateway), тако да постоји право отворено језгро.
Нијанса одражава образац на овој листи: неке од могућности специфичних за LLM, као што је ограничавање брзине засновано на токенима, обично су део пословне лиценце, а не бесплатног језгра. Ако већ користите Kubernetes и желите Envoy-базирани gateway који третира AI саобраћај као грађанина прве класе, то је снажан избор све док мапирате које функције су вам потребне на прави ниво.
Најбоље за: Тимове који користе Kubernetes технологију и желе Envoy-базирани gateway са AI саобраћајним функцијама. Пазите: проверите које LLM функције захтевају Enterprise Edition.
Како изабрати
Ако желите да сами покрећете и управљате чисто отвореним пројектом, Envoy AI Gateway и Higress вам пружају језгра усклађена са стандардима, високих перформанси, а Gloo је јак избор када сте већ посвећени Envoy-у на Kubernetes-у. Portkey је најлакши начин за самостално хостовање слоја рутирања, под условом да прихватите границе нивоа. А ако вам је заправо потребно да подаци остану у вашем сопственом облаку са потпуним управљањем предузећа и подршком иза њега, TrueFoundry је опција која вам даје самостално хостован положај без потребе да сами градите стек управљања.
Суштина
Самостално хостовање AI gateway-а је некада значило одустајање од функција зарад контроле. У 2026. години то више није тачно: можете добити отворени стандард подржан од стране CNCF-а, високопропусно AI-нативно језгро или потпуно управљану пословну платформу која ради унутар вашег сопственог окружења. Прави избор се своди на то колико желите сами да управљате, а колико управљања желите одмах. За тимове који желе и контролу и дубину, TrueFoundry је онај који треба победити.
