За много екипи първият въпрос относно AI gateway не е „какво може да прави“, а „къде работи“. Ако работите в регулирана индустрия, боравите с чувствителни данни или просто сте алергични към изпращането на всяка подкана и отговор през облака на някой друг, хостваният SaaS gateway е неприемлив, независимо колко е изпипан. Искате нещо, което можете да стартирате в собствената си инфраструктура, да инспектирате и контролирате.
Добрата новина е, че пазарът на приложения с отворен код и самостоятелно хостване наистина се е засилил. AI шлюзът е контролната равнина между вашите приложения и доставчиците на модели, като управлява маршрутизацията, надеждността, сигурността и разходите на едно място, а няколко от най-добрите вече се предлагат като софтуер, който можете сами да хоствате. Ето пет варианта, които си струва да включите в кратък списък, когато самостоятелното хостване е изискване, а не нещо приятно.
Какво всъщност трябва да означава „самостоятелно хостван“
Преди списъка, няколко думи за капана. „Отворен код“ и „самостоятелно хостване“ не са едно и също нещо и нито едното не гарантира, че функцията, от която се нуждаете, е в безплатната версия. Някои проекти предлагат ядро за бързо маршрутизиране с отворен код, но запазват управлението, съхранението за наблюдение и контрола на достъпа за множество екипи в платена версия. Затова оценете три неща поотделно: дали софтуерът работи във вашата собствена среда, дали специфичните възможности, от които се нуждаете, са във версията, която можете да хоствате самостоятелно, и дали данните действително остават във вашата инфраструктура от край до край. От тази гледна точка, ето как се сравняват тези пет.
1. TrueFoundry — корпоративната контролна равнина, която управлявате в собствения си облак
TrueFoundry води в този списък, защото е създаден точно за ограничението, което тласка екипите към самостоятелно хостване: съхраняване на данни в собствената им среда, без да се жертва корпоративният капацитет. Неговият AI Gateway се разполага във вашия собствен облак или VPC, така че подканите и трасиранията остават във вашата инфраструктура регион по регион, като същевременно ви предоставя единен OpenAI-съвместим интерфейс към над 1,000 модела, балансиране на натоварването и резервни опции, пълен набор от предпазни мерки, достъп, базиран на роли, бюджети и наблюдаемост на OpenTelemetry.
Освен това, той достига по-далеч от чист прокси. TrueFoundry управлява MCP сървърите и агентите чрез една и съща контролна равнина, а неговият агентски пакет, TrueForge, е с отворен код и е неутрален спрямо доставчиците, така че частите, които бихте искали да инспектирате и разширявате, са отворени, докато самата платформа работи там, където ви е необходима. За екипи, които искат самостоятелния хостинг на проект с отворен код, но дълбочината и поддръжката на корпоративна платформа, това е комбинацията, която е трудно да се намери другаде. FloQast, например, го управлява изцяло в собствения си облак, за да съхранява финансовите данни в регионите на САЩ, ЕС и Азиатско-тихоокеанския регион, за което можете да прочетете в документацията и казусите на TrueFoundry за AI Gateway .
Най-подходящо за: предприятия, които се нуждаят от съхранение на данни и пълно управление, докато сами управляват шлюза. Внимание: това е богата платформа, така че планирайте внедряването, вместо да очаквате петминутна инсталация.
2. Portkey — бързо, популярно ядро за маршрутизация с отворен код
Portkey предостави своя шлюз с отворен код под лиценз на MIT, а ядрото е наистина добро инженерно решение: леко, с много ниска добавена латентност, маршрутизиране към голям каталог с модели с интегрирани предпазни мерки и лесен за изпълнение като контейнер, който сами хоствате. Ако искате доказан прокси с отворен код, върху който да надграждате, това е една от най-популярните отправни точки с основателна причина.
Предупреждението е къде пада границата между безплатното и платеното. Самостоятелно хостваната версия ви дава нивото за маршрутизиране и надеждност, но съхранението и таблата за наблюдение, достъпът, базиран на роли за множество екипи, семантичното кеширане в голям мащаб и корпоративната поддръжка се намират в хостваното или корпоративно ниво. Така че тя се самохоства добре като рутер; пълен стек за управление обикновено означава платен план.
Най-добро за: екипи, които искат гъвкав, самостоятелно хостван слой за маршрутизация. Внимание: проверете кои функции за управление са налични в отворената версия, преди да я стандартизирате.
3. Envoy AI Gateway — отвореният стандарт, подкрепен от CNCF
Envoy AI Gateway разширява проекта Envoy Gateway на CNCF с вградена поддръжка за AI трафик и достигна стабилна версия 1.0 през 2026 г. Създаден и поддържан от Tetrate съвместно с Bloomberg, това е първият AI шлюз с отворен код, подкрепен от CNCF, което е важно, ако ви е грижа за неутрално спрямо доставчиците управление и проект, който не се контролира от един търговски доставчик.
Той предлага съвместим с OpenAI интерфейс за основните доставчици на модели, плюс маршрутизиране, превключване при срив и OpenTelemetry GenAI проследяване в чат, вграждания и други крайни точки. Bloomberg вече го използва в производствена среда. Компромисът е, че е софтуер от инфраструктурно ниво: мощен и съобразен със стандартите, но очаква екип, който се чувства комфортно да работи с Envoy и Kubernetes, а удобствата от по-високо ниво са по-скоро „направи си сам“, отколкото в управлявана платформа.
Най-подходящо за: екипи на платформи, които искат CNCF-стандартен, базиран на Envoy шлюз, който те напълно контролират. Внимание: предвидете бюджет за оперативната експертиза, изисквана от Envoy и Kubernetes.
4. Higress — високомащабен, изкуствен интелект, шлюз с отворен код
Higress стартира в рамките на Alibaba, беше с отворен код под Apache-2.0 и е изграден върху Istio и Envoy. Той е тестван в голям мащаб, като производствената валидация обработва стотици хиляди заявки в секунда и промени в конфигурацията, които влизат в сила за милисекунди, вместо да налагат разрушителни презареждания.
От страна на изкуствения интелект, той поддържа доставчици на основни модели, може да хоства MCP сървъри чрез своя плъгин механизъм, така че агентите да могат да извикват инструменти, и осигурява унифицирано управление както за LLM, така и за MCP API, заедно с WAF и набор от стратегии за удостоверяване. Това е отличен избор, ако вашите приоритети са сурова производителност и доказано високопроизводително ядро. Както при други проекти, ориентирани към инфраструктурата, управлението на по-високо ниво и полирането на продукта са по-леки от специализирана корпоративна платформа, а центърът на тежестта на общността може да е по-малко познат на някои западни екипи.
Най-подходящо за: екипи, които се нуждаят от високопроизводителен, изцяло отворен код, базиран на изкуствен интелект шлюз. Внимание: ще сглобите по-голямата част от слоя за управление сами.
5. Gloo AI Gateway — базиран на Envoy и нативен за Kubernetes
Gloo AI Gateway, от Solo.io, изгражда управление на трафика с изкуствен интелект върху зрял шлюз, базиран на Envoy и Kubernetes. Той е насочен към специфичните нужди на LLM трафика: семантично кеширане, ограничаване на скоростта на базата на токени, обогатяване на бързи данни, инжектиране на идентификационни данни чрез Kubernetes secrets и защита от изтичане на данни, за да се предотврати изтичане на чувствителна информация. Solo.io дари своя шлюз с отворен код на CNCF (като kgateway), така че има истинско отворено ядро.
Нюансът отразява модела в този списък: някои от специфичните за LLM възможности, като например ограничаване на скоростта на базата на токени, обикновено са част от корпоративния лиценз, а не от безплатното ядро. Ако вече използвате Kubernetes и искате базиран на Envoy шлюз, който третира AI трафика като първокласен гражданин, това е силно подходящо решение, стига да съпоставите кои функции са ви необходими с правилното ниво.
Най-добро за: Екипи, силно заети с Kubernetes, които искат базиран на Envoy шлюз с функции за трафик с изкуствен интелект. Внимание: проверете кои функции на LLM изискват корпоративното издание.
Как да изберем
Ако искате чисто отворен проект, който да управлявате и управлявате сами, Envoy AI Gateway и Higress ви предлагат стандартизирани, високопроизводителни ядра, а Gloo е силен избор, когато вече сте се ангажирали с Envoy на Kubernetes. Portkey е най-лесният начин за самостоятелно хостване на маршрутизиращ слой, стига да приемате границите на нивото. И ако това, от което наистина се нуждаете, е данните да останат във вашия собствен облак с пълно корпоративно управление и поддръжка, TrueFoundry е опцията, която ви дава самостоятелно хоствана позиция, без да се налага сами да изграждате стека за управление.
Долната линия
Самостоятелното хостване на AI шлюз преди означаваше отказ от функции за контрол. През 2026 г. това вече не е вярно: можете да получите отворен стандарт, подкрепен от CNCF, високопроизводително AI-базирано ядро или напълно управлявана корпоративна платформа, която работи във вашата собствена среда. Правилният избор се свежда до това колко искате да управлявате сами спрямо това колко управление искате от самото начало. За екипи, които искат както контрол, така и дълбочина, TrueFoundry е най-добрият избор.
