За многу тимови, првото прашање за AI портал не е „што може да прави“, туку „каде работи“. Ако сте во регулирана индустрија, ракувате со чувствителни податоци или едноставно сте алергични на испраќање на секој потсетник и одговор преку туѓ облак, хостирана SaaS портална мрежа е неуспешна, без разлика колку е усовршена. Сакате нешто што можете да го извршувате во вашата сопствена инфраструктура, да го проверувате и контролирате.
Добрата вест е дека делот од овој пазар со отворен код и самостојно хостирање стана навистина силен. AI порталот е контролната рамнина помеѓу вашите апликации и вашите добавувачи на модели, управувајќи со рутирањето, сигурноста, безбедноста и трошоците на едно место, а неколку од најдобрите сега се испорачуваат како софтвер што можете сами да го хостирате. Еве пет што вреди да се изберат кога самостојното хостирање е задолжително, а не е убаво да се има.
Што всушност треба да значи „самостојно хостирање“
Пред листата, неколку зборови за стапицата. „Отворен код“ и „самостојно хостирање“ не се иста работа, и ниту еден не гарантира дека функцијата што ви е потребна е во бесплатната верзија. Некои проекти имаат отворен код со брзо рутирање, но управувањето, складирањето на видливоста и контролата на пристап за повеќе тимови ја задржуваат на платено ниво. Затоа, оценете три работи одделно: дали софтверот работи во вашата сопствена околина, дали специфичните можности што ви се потребни се во верзијата што можете сами да ја хостирате и дали податоците всушност остануваат во вашата инфраструктура од почеток до крај. Со таа перспектива, еве како се споредуваат овие пет.
1. TrueFoundry — контролниот план на претпријатието што го користите во вашиот сопствен облак
TrueFoundry е на чело на оваа листа бидејќи е изграден токму за ограничувањето што ги турка тимовите кон самостојно хостирање: чување на податоци во вашата сопствена средина без да се откажете од претпријатиските можности. Неговиот AI Gateway се распоредува во вашиот сопствен облак или VPC, така што потсетниците и трагите остануваат во вашиот инфраструктурен регион по регион, а сепак ви даваат единствен интерфејс компатибилен со OpenAI за повеќе од 1,000 модели, балансирање на оптоварувањето и резервни опции, целосен пакет заштитни огради, пристап базиран на улоги, буџети и можност за набљудување на OpenTelemetry.
Исто така, достигнува подалеку од чист прокси. TrueFoundry управува со MCP серверите и агентите преку истата контролна рамнина, а неговиот систем за агенти, TrueForge, е со отворен код и неутрален кон добавувачите, така што деловите што сакате да ги проверите и проширите се отворени додека самата платформа работи таму каде што ви е потребно. За тимови кои сакаат самостојна хостинг позиција на проект со отворен код, но длабочина и поддршка на корпоративна платформа, ова е комбинацијата што е тешко да се најде на друго место. FloQast, на пример, ја извршува целосно во својот облак за да ги задржи финансиските податоци резидентни низ регионите на САД, ЕУ и Азиско-пацифичкиот регион, за што можете да прочитате во документацијата и студиите на случаи за AI Gateway на TrueFoundry .
Најдобро за: претпријатија на кои им е потребно складирање на податоци и целосно управување додека самите го користат порталот. Внимавајте: станува збор за богата платформа, затоа планирајте го воведувањето наместо да очекувате инсталација од пет минути.
2. Portkey — брзо, популарно јадро за рутирање со отворен код
Portkey го направи својот портал со отворен код под лиценца на MIT, а јадрото е навистина добар инженерски дизајн: лесен, со многу мала додадена латентност, насочува кон голем каталог на модели со интегрирани заштитни огради и лесен за работа како контејнер што го хостирате сами. Ако сакате докажан прокси со отворен код на кој ќе градите, тоа е една од најпопуларните почетни точки со добра причина.
Забелешката е каде што паѓа границата помеѓу бесплатно и платено. Самостојно хостираната верзија ви го дава слојот за рутирање и сигурност, но складирањето и контролните табли за набљудување, пристапот базиран на улоги за повеќе тимови, семантичкото кеширање на големо ниво и поддршката за претпријатија се наоѓаат во хостираното или претпријатиското ниво. Значи, самостојно хостира како рутер; целосен стек за управување обично значи платен план.
Најдобро за: тимови кои сакаат едноставен, самостоен слој за рутирање. Внимание: потврдете кои функции за управување се присутни во отворената верзија пред да ја стандардизирате.
3. Envoy AI Gateway — отворен стандард поддржан од CNCF
Envoy AI Gateway го проширува проектот Envoy Gateway на CNCF со вградена поддршка за сообраќај со вештачка интелигенција, и достигна стабилна верзија 1.0 во 2026 година. Создаден и одржуван од Tetrate заедно со Bloomberg, тоа е првиот CNCF-поддржан од AI портал со отворен код, што е важно ако ви е грижа за управување неутрално од добавувачот и проект кој не е контролиран од ниту еден комерцијален добавувач.
Нуди интерфејс компатибилен со OpenAI кај главните добавувачи на модели, плус рутирање, префрлување и трасирање на OpenTelemetry GenAI низ разговор, вградувања и други крајни точки. Bloomberg веќе го користи во продукција. Компромисот е што станува збор за софтвер со инфраструктурен квалитет: моќен и усогласен со стандардите, но очекува тим кој ќе може удобно да управува со Envoy и Kubernetes, а погодностите од повисоко ниво се повеќе „направи сам“ отколку во управувана платформа.
Најдобро за: платформски тимови кои сакаат CNCF-стандарден, Envoy-базиран портал кој целосно го контролираат. Внимавајте: буџетот за оперативната експертиза што ја бараат Envoy и Kubernetes.
4. Higress — високоразмерна, вештачка интелигенција со отворен код
Higress започна во рамките на Alibaba, беше со отворен код под Apache-2.0 и е изграден на Istio и Envoy. Тестиран е во голема скала, со валидација на производството што обработува стотици илјади барања во секунда и промени во конфигурацијата што стапуваат на сила во милисекунди, наместо да наметнуваат неуредни повторно вчитувања.
Од страната на вештачката интелигенција, поддржува мејнстрим провајдери на модели, може да хостира MCP сервери преку својот механизам за додатоци, така што агентите можат да повикуваат алатки и обезбедува унифицирано управување и за LLM и за MCP API, заедно со WAF и низа стратегии за автентикација. Тоа е одличен избор ако вашите приоритети се сурови перформанси и докажано јадро со висок проток. Како и со другите проекти што се први во инфраструктурата, управувањето на повисоко ниво и дотерувањето на производот се полесни од наменската корпоративна платформа, а центарот на гравитација на заедницата може да биде помалку познат на некои западни тимови.
Најдобро за: тимови на кои им е потребен портал со висок проток, целосно со отворен код базиран на вештачка интелигенција. Внимавајте: сами ќе составите поголем дел од управувачкиот слој.
5. Gloo AI Gateway — базиран на Envoy и базиран на Kubernetes
Gloo AI Gateway, од Solo.io, гради управување со сообраќајот со вештачка интелигенција врз основа на зрел Envoy и Kubernetes-native gateway. Тој ги таргетира специфичните потреби на LLM сообраќајот: семантичко кеширање, ограничување на брзината базирана на токени, брзо збогатување, инјектирање на акредитиви преку Kubernetes тајни и заштита од ексфилтрација на податоци за да се спречи протекување на чувствителни информации. Solo.io го донираше својот gateway со отворен код на CNCF (како kgateway), така што постои вистинско отворено јадро.
Нијансата го отсликува моделот на оваа листа: некои од можностите специфични за LLM, како што е ограничувањето на стапката базирана на токени, обично се дел од лиценцата за претпријатија, а не од бесплатното јадро. Ако веќе користите Kubernetes и сакате портал базиран на Envoy кој го третира сообраќајот со вештачка интелигенција како граѓанин од прва класа, тоа е одлично решение сè додека ги мапирате функциите што ви се потребни на вистинското ниво.
Најдобро за: Тимови кои користат Kubernetes и сакаат Envoy-базиран портал со функции за сообраќај со вештачка интелигенција. Внимание: проверете кои функции за LLM бараат ентерпрајз издание.
Како да изберете
Ако сакате проект со отворен код за самостојно извршување и управување, Envoy AI Gateway и Higress ви даваат јадра со високи перформанси усогласени со стандардите, а Gloo е одличен избор кога веќе сте посветени на Envoy на Kubernetes. Portkey е најлесниот начин за самостојно хостирање на слој за рутирање, под услов да ги прифатите границите на нивоата. И ако она што навистина ви треба се податоците да останат во вашиот сопствен облак со целосно управување и поддршка на претпријатието зад нив, TrueFoundry е опцијата што ви дава самостојно хостирана позиција без да ве замоли сами да го изградите стекот за управување.
Во крајна линија
Самостојното хостирање на AI портал порано значеше откажување од функции за контрола. Во 2026 година тоа повеќе не е вистина: можете да добиете отворен стандард поддржан од CNCF, јадро со висок проток на AI или целосно управувана корпоративна платформа што работи во вашата сопствена околина. Правилниот избор се сведува на тоа колку сакате сами да управувате наспроти колку управување сакате да бидете во можност да го користите. За тимовите кои сакаат и контрола и длабочина, TrueFoundry е оној што треба да го победите.
