Для многих команд первый вопрос о шлюзе ИИ звучит не «что он умеет», а «где он работает». Если вы работаете в регулируемой отрасли, обрабатываете конфиденциальные данные или просто не хотите отправлять все запросы и ответы через чужое облако, то размещенный SaaS-шлюз — это неприемлемый вариант, независимо от того, насколько он совершенен. Вам нужно что-то, что можно запустить внутри собственной инфраструктуры, проверять и контролировать.
Хорошая новость в том, что сегмент рынка с открытым исходным кодом и возможностью самостоятельного размещения действительно сильно развился. Шлюз ИИ — это плоскость управления между вашими приложениями и поставщиками моделей, которая обрабатывает маршрутизацию, надежность, безопасность и стоимость в одном месте, и многие из лучших теперь поставляются в виде программного обеспечения, которое вы можете разместить самостоятельно. Вот пять вариантов, которые стоит рассмотреть, если самостоятельное размещение является обязательным требованием, а не просто желательным дополнением.
Что на самом деле должно означать выражение «возможность самостоятельного размещения»?
Прежде чем перейти к списку, несколько слов о ловушке. «Открытый исходный код» и «возможность самостоятельного размещения» — это не одно и то же, и ни то, ни другое не гарантирует наличие необходимой вам функции в бесплатной версии. Некоторые проекты открывают исходный код быстрого ядра маршрутизации, но сохраняют управление, мониторинг, хранилище и контроль доступа для нескольких команд в платном варианте. Поэтому оценивайте три вещи отдельно: работает ли программное обеспечение в вашей собственной среде, есть ли необходимые вам возможности в версии, которую вы можете разместить самостоятельно, и действительно ли данные остаются в вашей инфраструктуре от начала до конца. С учетом этого, вот как эти пять вариантов сравниваются.
1. TrueFoundry — панель управления предприятием, работающая в собственном облаке.
TrueFoundry возглавляет этот список, потому что она была создана именно для того ограничения, которое подталкивает команды к самостоятельному размещению: хранение данных в собственной среде без ущерба для корпоративных возможностей. Ее AI Gateway развертывается внутри вашего собственного облака или VPC, поэтому запросы и трассировки остаются в вашей инфраструктуре по регионам, при этом предоставляя вам единый интерфейс, совместимый с OpenAI, для доступа к более чем 1,000 моделям, балансировки нагрузки и резервных механизмов, полного набора защитных механизмов, доступа на основе ролей, бюджетов и мониторинга OpenTelemetry.
Это решение выходит за рамки простого прокси. TrueFoundry управляет серверами и агентами MCP через одну и ту же плоскость управления, а её агентская платформа TrueForge является открытым исходным кодом и не зависит от поставщика, поэтому компоненты, которые вы захотите изучить и расширить, остаются открытыми, в то время как сама платформа работает там, где это необходимо. Для команд, которые хотят получить возможность самостоятельного размещения, как в проектах с открытым исходным кодом, но при этом иметь глубокую поддержку и возможности корпоративной платформы, это сочетание трудно найти где-либо ещё. Например, FloQast использует её полностью в собственном облаке для хранения финансовых данных в регионах США, ЕС и Азиатско-Тихоокеанского региона, о чём можно прочитать в документации и примерах использования TrueFoundry AI Gateway .
Лучше всего подходит для предприятий, которым необходимо размещение данных и полное управление ими при самостоятельном управлении шлюзом. Внимание: это многофункциональная платформа, поэтому планируйте развертывание заранее, а не рассчитывайте на пятиминутную установку.
2. Portkey — быстрое и популярное ядро маршрутизации с открытым исходным кодом.
Portkey выпустила свой шлюз с открытым исходным кодом под лицензией MIT, и его ядро представляет собой действительно качественную инженерную разработку: легковесный, с очень низкой дополнительной задержкой, маршрутизацией к большому каталогу моделей со встроенными механизмами защиты и простотой запуска в виде контейнера, который вы размещаете самостоятельно. Если вам нужен проверенный прокси-сервер с открытым исходным кодом для дальнейшего развития, это одна из самых популярных отправных точек, и это неспроста.
Однако следует учитывать разницу между бесплатным и платным вариантами. Самостоятельно размещаемая версия предоставляет уровень маршрутизации и надежности, но хранилище данных и панели мониторинга, многокомандный доступ на основе ролей, семантическое кэширование в больших масштабах и корпоративная поддержка доступны только в размещенном или корпоративном варианте. Таким образом, саморазмещаемая версия хорошо подходит в качестве маршрутизатора; полный стек управления обычно подразумевает платный тариф.
Лучше всего подходит для: команд, которым нужен компактный, самостоятельно размещаемый уровень маршрутизации. Внимание: перед тем, как использовать открытую сборку, убедитесь, какие функции управления доступны в ней.
3. Envoy AI Gateway — открытый стандарт, поддерживаемый CNCF.
Envoy AI Gateway расширяет возможности проекта Envoy Gateway от CNCF, добавляя нативную поддержку трафика ИИ, и достиг стабильной версии 1.0 в 2026 году. Созданный и поддерживаемый Tetrate совместно с Bloomberg, это первый открытый шлюз ИИ, поддерживаемый CNCF, что важно, если для вас важна нейтральная по отношению к поставщикам система управления и проект, не контролируемый одним коммерческим поставщиком.
Он предлагает интерфейс, совместимый с OpenAI, для работы с основными поставщиками моделей, а также маршрутизацию, отказоустойчивость и трассировку OpenTelemetry GenAI для чатов, встраивания и других конечных точек. Bloomberg уже использует его в производственной среде. Компромисс заключается в том, что это программное обеспечение инфраструктурного уровня: мощное и соответствующее стандартам, но оно требует от команды опытной работы с Envoy и Kubernetes, а более сложные функции требуют самостоятельной разработки, в отличие от управляемой платформы.
Лучше всего подходит для: команд разработчиков платформы, которым нужен шлюз на основе Envoy, соответствующий стандарту CNCF, который они могут полностью контролировать. Обратите внимание: необходимо предусмотреть бюджет на экспертные знания в области Envoy и Kubernetes.
4. Higress — высокомасштабируемый шлюз с открытым исходным кодом, разработанный специально для ИИ.
Higress зародился внутри Alibaba, был открыт для публичного использования в рамках Apache 2.0 и построен на платформах Istio и Envoy. Он проверен в условиях крупномасштабного тестирования: в производственной среде обрабатываются сотни тысяч запросов в секунду, а изменения конфигурации вступают в силу за миллисекунды, не требуя принудительной перезагрузки.
В части ИИ платформа поддерживает основных поставщиков моделей, может размещать серверы MCP через свой плагинный механизм, позволяя агентам вызывать инструменты, и обеспечивает унифицированное управление API LLM и MCP, а также WAF и ряд стратегий аутентификации. Это отличный выбор, если для вас приоритетны высокая производительность и проверенное высокопроизводительное ядро. Как и в других проектах, ориентированных на инфраструктуру, уровень управления и доработки продукта ниже, чем у специализированной корпоративной платформы, а центр притяжения сообщества может быть менее знаком некоторым западным командам.
Лучше всего подходит для: команд, которым нужен высокопроизводительный, полностью открытый шлюз, изначально разработанный для ИИ. Внимание: большую часть уровня управления вам придется создавать самостоятельно.
5. Gloo AI Gateway — на основе Envoy и совместим с Kubernetes.
Gloo AI Gateway от Solo.io — это шлюз для управления трафиком ИИ, построенный на основе зрелого шлюза, совместимого с Envoy и Kubernetes. Он ориентирован на специфические потребности трафика LLM: семантическое кэширование, ограничение скорости на основе токенов, обогащение подсказок, внедрение учетных данных через секреты Kubernetes и защита от утечки данных для предотвращения разглашения конфиденциальной информации. Solo.io передала свой шлюз с открытым исходным кодом в CNCF (под названием kgateway), поэтому у него есть подлинно открытое ядро.
Нюанс отражает общую картину в этом списке: некоторые специфические для LLM возможности, такие как ограничение скорости на основе токенов, обычно входят в корпоративную лицензию, а не в бесплатное ядро. Если вы уже используете Kubernetes и хотите шлюз на основе Envoy, который обрабатывает трафик ИИ как полноценный ресурс, это отличный вариант, если вы правильно сопоставите необходимые вам функции с соответствующим уровнем.
Лучше всего подходит для: команд, активно использующих Kubernetes и нуждающихся в шлюзе на базе Envoy с функциями управления трафиком с помощью ИИ. Внимание: проверьте, какие функции LLM требуют корпоративной версии.
Как выбрать
Если вам нужен проект с полностью открытым исходным кодом, который вы сможете запускать и эксплуатировать самостоятельно, Envoy AI Gateway и Higress предоставляют вам соответствующие стандартам высокопроизводительные ядра, а Gloo — отличный выбор, если вы уже используете Envoy в Kubernetes. Portkey — это самый лёгкий способ самостоятельно разместить уровень маршрутизации, при условии, что вы согласны с ограничениями по уровням. А если вам действительно нужно, чтобы данные оставались в вашем собственном облаке с полным корпоративным управлением и поддержкой, TrueFoundry — это вариант, который обеспечивает самостоятельный хостинг без необходимости самостоятельного создания стека управления.
Резюме
Раньше самостоятельная установка шлюза ИИ означала отказ от некоторых функций в пользу контроля. В 2026 году это уже не так: вы можете получить открытый стандарт, поддерживаемый CNCF, высокопроизводительное ядро, изначально разработанное для ИИ, или полностью управляемую корпоративную платформу, работающую в вашей собственной среде. Правильный выбор зависит от того, насколько вы хотите управлять системой самостоятельно и насколько вам необходим полный контроль «из коробки». Для команд, которым нужен и контроль, и расширенные возможности, TrueFoundry — лучший выбор.
