Для многіх каманд першае пытанне аб шлюзе штучнага інтэлекту — не «што ён можа рабіць», а «дзе ён працуе». Калі вы працуеце ў рэгуляванай галіне, апрацоўваеце канфідэнцыйныя дадзеныя або проста не любіце адпраўляць усе запыты і адказы праз чужое воблака, то размяшчаны SaaS-шлюз — гэта не лепшы варыянт, незалежна ад таго, наколькі ён дапрацаваны. Вам патрэбна нешта, што вы можаце запускаць унутры ўласнай інфраструктуры, правяраць і кантраляваць.
Добрая навіна заключаецца ў тым, што рынак праграм з адкрытым зыходным кодам і самастойным хостынгам сапраўды моцна развіваецца. Шлюз штучнага інтэлекту — гэта плоскасць кіравання паміж вашымі праграмамі і пастаўшчыкамі мадэляў, якая кіруе маршрутызацыяй, надзейнасцю, бяспекай і коштам у адным месцы, і некалькі лепшых з іх цяпер пастаўляюцца ў выглядзе праграмнага забеспячэння, якое вы можаце размясціць самастойна. Вось пяць варыянтаў, якія варта ўключыць у кароткі спіс, калі самастойны хостынг з'яўляецца патрабаваннем, а не жаданнем.
Што насамрэч павінна азначаць «самастойны хостынг»
Перад тым, як перайсці да спісу, коратка пра пастку. «Адкрыты зыходны код» і «самастойнае размяшчэнне» — гэта не адно і тое ж, і ні адно з іх не гарантуе наяўнасці патрэбнай вам функцыі ў бясплатнай зборцы. Некаторыя праекты прапануюць ядро хуткай маршрутызацыі з адкрытым зыходным кодам, але захоўваюць кіраванне, сховішча назіральнасці і кантроль доступу для некалькіх каманд на платным узроўні. Таму асобна ацэньвайце тры рэчы: ці працуе праграмнае забеспячэнне ў вашым уласным асяроддзі, ці ёсць патрэбныя вам канкрэтныя магчымасці ў версіі, якую вы можаце размясціць самастойна, і ці сапраўды дадзеныя застаюцца ў вашай інфраструктуры ад пачатку да канца. З гэтай пункту гледжання, вось як параўноўваюцца гэтыя пяць праектаў.
1. TrueFoundry — карпаратыўная плоскасць кіравання, якую вы запускаеце ў сваім уласным воблаку
TrueFoundry лідзіруе ў гэтым спісе, таму што ён быў створаны менавіта з улікам абмежаванняў, якія падштурхоўваюць каманды да самастойнага размяшчэння: захоўванне дадзеных у вашым уласным асяроддзі без страты карпаратыўных магчымасцей. Яго AI Gateway разгортваецца ўнутры вашага ўласнага воблака або VPC, таму запыты і трасіроўкі застаюцца ў вашай інфраструктуры па рэгіёнах, пры гэтым вы ўсё яшчэ атрымліваеце адзіны інтэрфейс, сумяшчальны з OpenAI, для больш чым 1,000 мадэляў, балансаванне нагрузкі і рэзервовыя варыянты, поўны набор Guardrails, доступ на аснове роляў, бюджэты і назіральнасць OpenTelemetry.
Акрамя таго, ён мае больш магчымасцей, чым просты проксі-сервер. TrueFoundry кіруе серверамі і агентамі MCP праз адну плоскасць кіравання, а яго агентскі хардуер TrueForge мае адкрыты зыходны код і не залежыць ад пастаўшчыка, таму часткі, якія вы хацелі б праверыць і пашырыць, адкрыты, у той час як сама платформа працуе там, дзе вам гэта трэба. Для каманд, якія жадаюць самастойнага размяшчэння праекта з адкрытым зыходным кодам, але з глыбінёй і падтрымкай карпаратыўнай платформы, гэта спалучэнне, якое цяжка знайсці дзе-небудзь яшчэ. Напрыклад, FloQast цалкам запускае яго ў сваім уласным воблаку, каб захоўваць фінансавыя даныя ў рэгіёнах ЗША, ЕС і Азіяцка-Ціхаакіянскага рэгіёну, пра што вы можаце прачытаць у дакументацыі і тэматычных даследаваннях TrueFoundry па AI Gateway .
Найлепш падыходзіць для: прадпрыемстваў, якім патрэбна рэзідэнцыяльнасць даных і поўнае кіраванне пры самастойнай працы шлюза. Звярніце ўвагу: гэта шматфункцыянальная платформа, таму плануйце разгортванне, а не чакайце пяціхвіліннай усталёўкі.
2. Portkey — хуткае, папулярнае ядро маршрутызацыі з адкрытым зыходным кодам
Portkey апублікаваў свой шлюз з адкрытым зыходным кодам па ліцэнзіі MIT, і ядро — сапраўды добрая інжынерная дэталь: лёгкая, з вельмі нізкай дадатковай затрымкай, маршрутызацыяй да вялікага каталога мадэляў з інтэграванымі ахоўнымі панэлямі і простым у выкарыстанні як кантэйнер, які вы размяшчаеце самастойна. Калі вам патрэбен правераны проксі-сервер з адкрытым зыходным кодам для далейшага выкарыстання, гэта адзін з самых папулярных адпраўных пунктаў нездарма.
Праблема ў тым, дзе знаходзіцца мяжа паміж бясплатным і платным. Самастойная зборка дае вам узровень маршрутызацыі і надзейнасці, але сховішча назіральнасці і панэлі кіравання, доступ на аснове роляў для некалькіх каманд, семантычнае кэшаванне ў вялікіх маштабах і падтрымка прадпрыемства знаходзяцца на размешчаным або карпаратыўным узроўні. Такім чынам, яна добра размяшчаецца самастойна як маршрутызатар; поўны стэк кіравання звычайна азначае платны план.
Найлепш падыходзіць для: каманд, якім патрэбны зручны, аўтаномны ўзровень маршрутызацыі. Увага: пераканайцеся, што функцыі кіравання ўключаны ў адкрытую зборку, перш чым стандартызаваць яе.
3. Envoy AI Gateway — адкрыты стандарт, які падтрымліваецца CNCF
Envoy AI Gateway пашырае праект Envoy Gateway ад CNCF, дадаўшы ўбудаваную падтрымку трафіку штучнага інтэлекту, і ў 2026 годзе ён дасягнуў стабільнай версіі 1.0. Створаны і падтрымліваецца Tetrate сумесна з Bloomberg, гэта першы шлюз штучнага інтэлекту з адкрытым зыходным кодам, які падтрымліваецца CNCF, што важна, калі вам важна кіраванне, незалежнае ад пастаўшчыка, і праект, які не кантралюецца адным камерцыйным пастаўшчыком.
Ён прапануе сумяшчальны з OpenAI інтэрфейс для асноўных пастаўшчыкоў мадэляў, а таксама маршрутызацыю, пераключэнне на іншы рэсурс і трасіроўку OpenTelemetry GenAI у чатах, убудаваннях і іншых канчатковых кропках. Bloomberg ужо запускае яго ў прадукцыйнай версіі. Недахопам з'яўляецца тое, што гэта праграмнае забеспячэнне інфраструктурнага ўзроўню: магутнае і адпавядае стандартам, але яно патрабуе ад каманды камфортнага кіравання Envoy і Kubernetes, а больш высокія зручнасці больш складаныя, чым у кіраванай платформе.
Найлепш падыходзіць для: каманд платформаў, якія жадаюць цалкам кантраляваць шлюз Envoy на базе стандарту CNCF. Звярніце ўвагу: прадугледзьце бюджэт на аператыўную экспертызу, патрэбную Envoy і Kubernetes.
4. Higress — маштабны шлюз з адкрытым зыходным кодам, заснаваны на штучным інтэлекце
Higress пачаўся ўнутры Alibaba, быў з адкрытым зыходным кодам пад Apache-2.0 і пабудаваны на Istio і Envoy. Ён пратэставаны ў вялікіх маштабах, прычым прадукцыйная праверка апрацоўвае сотні тысяч запытаў у секунду, а змены канфігурацыі ўступаюць у сілу за мілісекунды, а не прымушаюць да перарывістых перазагрузак.
Што тычыцца штучнага інтэлекту, ён падтрымлівае пастаўшчыкоў асноўных мадэляў, можа размяшчаць серверы MCP праз свой механізм убудоў, каб агенты маглі выклікаць інструменты, і забяспечвае адзінае кіраванне як для LLM, так і для MCP API, разам з WAF і шэрагам стратэгій аўтэнтыфікацыі. Гэта выдатны выбар, калі вашымі прыярытэтамі з'яўляюцца неапрацаваная прадукцыйнасць і праверанае высокапрапускное ядро. Як і ў іншых праектах, арыентаваных на інфраструктуру, кіраванне вышэйшага ўзроўню і паліроўка прадукту лягчэйшыя, чым у спецыялізаванай карпаратыўнай платформе, і цэнтр цяжару супольнасці можа быць менш знаёмы некаторым заходнім камандам.
Найлепш падыходзіць для: каманд, якім патрэбны высокапрадукцыйны, цалкам адкрыты шлюз на базе штучнага інтэлекту. Увага: большую частку ўзроўню кіравання вам давядзецца збіраць самастойна.
5. Gloo AI Gateway — на базе Envoy і натыўны для Kubernetes
Gloo AI Gateway ад Solo.io стварае кіраванне трафікам штучнага інтэлекту на базе сталага шлюза, заснаванага на Envoy і Kubernetes. Ён арыентаваны на канкрэтныя патрэбы трафіку LLM: семантычнае кэшаванне, абмежаванне хуткасці на аснове токенаў, узбагачэнне запытаў, увядзенне ўліковых дадзеных праз сакрэты Kubernetes і абарона ад выцякання дадзеных, каб прадухіліць уцечку канфідэнцыйнай інфармацыі. Solo.io перадала свой шлюз з адкрытым зыходным кодам CNCF (як kgateway), таму ў яго ёсць сапраўднае адкрытае ядро.
Гэты нюанс адлюстроўвае заканамернасць у гэтым спісе: некаторыя з магчымасцей, спецыфічных для LLM, такія як абмежаванне хуткасці на аснове токенаў, звычайна ўваходзяць у карпаратыўную ліцэнзію, а не ў бясплатнае ядро. Калі вы ўжо карыстаецеся Kubernetes і хочаце шлюз на базе Envoy, які апрацоўвае трафік штучнага інтэлекту як грамадзяніна першага гатунку, гэта выдатны варыянт, пакуль вы аднясеце патрэбныя вам функцыі да патрэбнага ўзроўню.
Найлепш падыходзіць для: каманд, якія выкарыстоўваюць шмат Kubernetes і жадаюць шлюз на базе Envoy з функцыямі штучнага інтэлекту для кіравання трафікам. Звярніце ўвагу: для якіх функцый LLM патрабуецца карпаратыўная версія.
як выбраць
Калі вам патрэбен чыста адкрыты праект для самастойнага запуску і эксплуатацыі, Envoy AI Gateway і Higress прапануюць высокапрадукцыйныя ядры, якія адпавядаюць стандартам, а Gloo — добры выбар, калі вы ўжо прытрымліваецеся Envoy на Kubernetes. Portkey — гэта самы просты спосаб самастойнага размяшчэння ўзроўню маршрутызацыі, пры ўмове, што вы згаджаецеся з межамі ўзроўняў. А калі вам сапраўды патрэбныя дадзеныя, якія захоўваюцца ў вашым уласным воблаку з поўным карпаратыўным кіраваннем і падтрымкай, TrueFoundry — гэта варыянт, які дае вам магчымасць самастойнага размяшчэння без неабходнасці самастойна ствараць стэк кіравання.
У ніжняй радку
Раней самастойнае размяшчэнне шлюза штучнага інтэлекту азначала адмову ад функцый дзеля кантролю. У 2026 годзе гэта ўжо не так: вы можаце атрымаць адкрыты стандарт, які падтрымліваецца CNCF, высокапрадукцыйнае ядро, заснаванае на штучным інтэлекце, або цалкам кіраваную карпаратыўную платформу, якая працуе ў вашым уласным асяроддзі. Правільны выбар залежыць ад таго, наколькі вы хочаце кіраваць самастойна, а наколькі кіраванне вы хочаце атрымаць адразу. Для каманд, якія жадаюць як кантролю, так і глыбіні, TrueFoundry — лепшы выбар.
