Для багатьох команд перше питання щодо шлюзу штучного інтелекту не «що він може робити», а «де він працює». Якщо ви працюєте в регульованій галузі, маєте справу з конфіденційними даними або просто не хочете надсилати кожне запит і відповідь через чужу хмару, розміщений SaaS-шлюз не підійде, незалежно від того, наскільки він досконалий. Вам потрібне щось, що ви можете запускати всередині власної інфраструктури, перевіряти та контролювати.
Гарна новина полягає в тому, що ринок програмного забезпечення з відкритим вихідним кодом та самостійно хостингом став справді сильним. Шлюз штучного інтелекту – це площина керування між вашими програмами та постачальниками моделей, яка обробляє маршрутизацію, надійність, безпеку та вартість в одному місці, і кілька найкращих зараз постачаються як програмне забезпечення, яке ви можете розміщувати самостійно. Ось п’ять варіантів, які варто скласти, коли самостійний хостинг є вимогою, а не приємною перевагою.
Що насправді має означати «самостійно розміщений»
Перш ніж перейти до списку, коротко про пастку. «Відкритий код» та «самостійне розміщення» – це не одне й те саме, і жодне з них не гарантує, що потрібна вам функція буде присутня у безкоштовній збірці. Деякі проекти надають ядро швидкої маршрутизації з відкритим кодом, але залишають управління, сховище спостережуваності та контроль доступу для кількох команд на платному рівні. Тож оцініть три речі окремо: чи працює програмне забезпечення у вашому власному середовищі, чи є конкретні можливості, які вам потрібні, у версії, яку ви можете розміщувати самостійно, і чи дані насправді залишаються у вашій інфраструктурі від початку до кінця. З огляду на це, ось як порівнюються ці п’ять варіантів.
1. TrueFoundry — корпоративна площина керування, яку ви запускаєте у власній хмарі
TrueFoundry очолює цей список, оскільки його було створено саме для того обмеження, яке штовхає команди до самостійного розміщення: зберігання даних у власному середовищі без втрати можливостей підприємства. Його AI Gateway розгортається у вашій власній хмарі або VPC, тому запити та трасування залишаються у вашій інфраструктурі регіон за регіоном, водночас надаючи вам єдиний інтерфейс, сумісний з OpenAI, для понад 1,000 моделей, балансування навантаження та резервні варіанти, повний набір захисних екранів, доступ на основі ролей, бюджети та спостереження OpenTelemetry.
Він також охоплює більше, ніж просто проксі. TrueFoundry керує серверами MCP та агентами через одну й ту саму площину керування, а його агентський хардуер TrueForge має відкритий вихідний код та не залежить від постачальників, тому частини, які ви хочете перевірити та розширити, відкриті, тоді як сама платформа працює там, де вам потрібно. Для команд, які хочуть мати самостійний хостинг проекту з відкритим вихідним кодом, але водночас глибину та підтримку корпоративної платформи, це саме те поєднання, яке важко знайти деінде. Наприклад, FloQast повністю запускає його у власній хмарі, щоб зберігати фінансові дані в регіонах США, ЄС та Азіатсько-Тихоокеанського регіону, про що ви можете прочитати в документації та тематичних дослідженнях TrueFoundry щодо AI Gateway .
Найкраще підходить для: підприємств, яким потрібне зберігання даних та повне управління під час самостійного використання шлюзу. Увага: це потужна платформа, тому плануйте розгортання, а не очікуйте п'ятихвилинної інсталяції.
2. Portkey — швидке, популярне ядро маршрутизації з відкритим кодом
Portkey розмістив свій шлюз з відкритим кодом за ліцензією MIT, і ядро є справді вдалим інженерним рішенням: легке, з дуже низькою додатковою затримкою, маршрутизацією до великого каталогу моделей з інтегрованими захистом від помилок та простим у використанні як контейнер, який ви розміщуєте самостійно. Якщо вам потрібен перевірений проксі з відкритим кодом для подальшої розробки, це одна з найпопулярніших відправних точок не без підстав.
Застереження полягає в тому, де пролягає межа між безкоштовним та платним. Самостійно розміщена збірка надає вам рівень маршрутизації та надійності, але сховище спостережуваності та панелі інструментів, доступ на основі ролей для кількох команд, семантичне кешування у великих масштабах та корпоративна підтримка знаходяться на розміщеному або корпоративному рівні. Тож вона добре розміщується самостійно як маршрутизатор; повний стек управління зазвичай означає платний план.
Найкраще підходить для: команд, яким потрібен простий, самостійно розміщений рівень маршрутизації. Увага: перевірте, які функції управління є у відкритій збірці, перш ніж стандартизувати її.
3. Envoy AI Gateway — відкритий стандарт, що підтримується CNCF
Envoy AI Gateway розширює проєкт Envoy Gateway від CNCF, додавши вбудовану підтримку для трафіку штучного інтелекту, і у 2026 році він досяг стабільної версії 1.0. Створений та підтримуваний Tetrate разом з Bloomberg, це перший шлюз штучного інтелекту з відкритим кодом, що підтримується CNCF, що важливо, якщо вам важливе управління, нейтральне до постачальника, та проєкт, який не контролюється жодним комерційним постачальником.
Він пропонує інтерфейс, сумісний з OpenAI, для основних постачальників моделей, а також маршрутизацію, перемикання на резервний рахунок та трасування OpenTelemetry GenAI у чаті, вбудовуваннях та інших кінцевих точках. Bloomberg вже запускає його у робочому середовищі. Компроміс полягає в тому, що це програмне забезпечення інфраструктурного рівня: потужне та відповідає стандартам, але воно очікує, що команда зможе комфортно працювати з Envoy та Kubernetes, а зручності вищого рівня більше підходять для самостійного використання, ніж у керованій платформі.
Найкраще підходить для: команд платформ, які хочуть мати повністю контрольований шлюз на базі Envoy за стандартом CNCF. Увага: враховуйте операційну експертизу, необхідну для Envoy та Kubernetes.
4. Higress — масштабний шлюз з відкритим кодом, заснований на штучному інтелекті
Higress розпочався всередині Alibaba, був відкритим кодом під Apache-2.0 та побудований на Istio та Envoy. Він пройшов бойові випробування у великих масштабах, з обробкою сотень тисяч запитів у секунду та змінами конфігурації, які набувають чинності за мілісекунди, а не змушують до перезавантажень, що руйнують роботу.
Що стосується штучного інтелекту, він підтримує основні постачальники моделей, може розміщувати сервери MCP через механізм плагінів, щоб агенти могли викликати інструменти, а також забезпечує єдине керування як API LLM, так і MCP, разом із WAF та низкою стратегій автентифікації. Це чудовий вибір, якщо вашими пріоритетами є необроблена продуктивність та перевірене високопродуктивне ядро. Як і в інших проектах, орієнтованих на інфраструктуру, управління вищим рівнем та полірування продукту є легшими, ніж на спеціалізованій корпоративній платформі, а центр тяжіння спільноти може бути менш знайомим деяким західним командам.
Найкраще підходить для: команд, яким потрібен високопродуктивний, повністю відкритий шлюз на основі штучного інтелекту. Увага: ви самі зберете більшу частину рівня управління.
5. Gloo AI Gateway — на базі Envoy та нативний для Kubernetes
Gloo AI Gateway від Solo.io створює управління трафіком штучного інтелекту на основі зрілого шлюзу, нативного для Envoy та Kubernetes. Він орієнтований на конкретні потреби трафіку LLM: семантичне кешування, обмеження швидкості на основі токенів, збагачення запитів, введення облікових даних через секрети Kubernetes та захист від витоку даних, щоб запобігти витоку конфіденційної інформації. Solo.io передала свій шлюз з відкритим кодом CNCF (як kgateway), тому у нього справжнє відкрите ядро.
Цей нюанс відображає закономірність у цьому списку: деякі можливості, специфічні для LLM, такі як обмеження швидкості на основі токенів, зазвичай є частиною корпоративної ліцензії, а не безкоштовного ядра. Якщо ви вже використовуєте Kubernetes і хочете шлюз на базі Envoy, який обробляє трафік штучного інтелекту як громадянина першого класу, це чудовий варіант, якщо ви віднесете потрібні вам функції до правильного рівня.
Найкраще для: команд, що використовують Kubernetes та бажають шлюз на базі Envoy з функціями штучного інтелекту для обробки трафіку. Увага: перевірте, які функції LLM вимагають корпоративної версії.
як вибрати
Якщо вам потрібен повністю відкритий проект для самостійного запуску та експлуатації, Envoy AI Gateway та Higress надають вам стандартизовані, високопродуктивні ядра, а Gloo — сильний вибір, якщо ви вже вирішили використовувати Envoy на Kubernetes. Portkey — це найпростіший спосіб самостійного розміщення рівня маршрутизації, за умови, що ви погоджуєтеся з межами рівнів. А якщо вам дійсно потрібно, щоб дані зберігалися у вашій власній хмарі з повним корпоративним управлінням та підтримкою, TrueFoundry — це варіант, який надає вам можливість самостійного розміщення, не вимагаючи від вас самостійного створення стеку управління.
Резюме
Самостійне розміщення шлюзу штучного інтелекту раніше означало відмову від функцій заради контролю. У 2026 році це вже не так: ви можете отримати відкритий стандарт, підтримуваний CNCF, високопродуктивне ядро на основі штучного інтелекту або повністю керовану корпоративну платформу, яка працює у вашому власному середовищі. Правильний вибір залежить від того, наскільки ви хочете керувати самостійно, а наскільки високим є рівень управління, який ви хочете отримати з коробки. Для команд, які хочуть як контролю, так і глибини, TrueFoundry — найкращий вибір.
