Paljude meeskondade jaoks pole esimene küsimus tehisintellekti värava kohta mitte see, mida see teha saab, vaid see, kus see töötab. Kui tegutsete reguleeritud valdkonnas, töötlete tundlikke andmeid või olete lihtsalt allergiline iga päringu ja vastuse saatmise suhtes kellegi teise pilve kaudu, siis hostitud SaaS-värav pole hea valik, olenemata sellest, kui viimistletud see on. Teil on vaja midagi, mida saate oma infrastruktuuri sees käitada, kontrollida ja kontrollida.
Hea uudis on see, et selle turu avatud lähtekoodiga ja isehostitav pool on tõeliselt tugevnenud. Tehisintellekti lüüs on teie rakenduste ja mudelipakkujate vaheline juhtimistasandik, mis haldab marsruutimist, töökindlust, turvalisust ja kulusid ühes kohas ning mitmed parimad on nüüd saadaval tarkvarana, mida saate ise hostida. Siin on viis, mida tasub valida, kui isehostimine on nõue, mitte meeldiv lisaväärtus.
Mida peaks „ise majutatav” tegelikult tähendama
Enne nimekirja paar sõna lõksu kohta. „Avatud lähtekoodiga” ja „ise hostitatav” ei ole sama asi ning kumbki ei garanteeri vajaliku funktsiooni olemasolu tasuta versioonis. Mõned projektid pakuvad kiire marsruutimise tuuma jaoks avatud lähtekoodi, kuid hoiavad halduse, jälgitavuse salvestusruumi ja mitme meeskonna juurdepääsu kontrolli tasulises astmes. Seega hinnake kolme asja eraldi: kas tarkvara töötab teie enda keskkonnas, kas vajalikud konkreetsed võimalused on versioonis, mida saate ise hostida, ja kas andmed jäävad teie infrastruktuuri otsast lõpuni. Sellest vaatenurgast lähtuvalt on need viis tarkvara võrreldavad järgmiselt.
1. TrueFoundry – ettevõtte juhtimistasandit, mida käitate oma pilves
TrueFoundry on selle nimekirja tipus, kuna see loodi just selle piirangu jaoks, mis sunnib meeskondi isehostimise poole: andmete hoidmine oma keskkonnas ilma ettevõtte võimekusest loobumata. Selle tehisintellekti lüüs juurutatakse teie enda pilve või VPC-sse, nii et päringud ja jäljed jäävad teie infrastruktuuri piirkonda, pakkudes samal ajal teile ühte OpenAI-ga ühilduvat liidest enam kui 1,000 mudeliga, koormuse tasakaalustamist ja varuvariante, täielikku turvapiirete komplekti, rollipõhist juurdepääsu, eelarveid ja OpenTelemetry jälgitavust.
See ulatub kaugemale kui puhas puhverserver. TrueFoundry haldab MCP servereid ja agente sama juhtimistasandi kaudu ning selle agentide raamistik TrueForge on avatud lähtekoodiga ja müüjaneutraalne, seega on osad, mida soovite kontrollida ja laiendada, avatud, samal ajal kui platvorm ise töötab seal, kus seda vajate. Meeskondadele, kes soovivad avatud lähtekoodiga projekti isehostimise olekut, kuid ettevõtte platvormi sügavust ja tuge, on see kombinatsioon, mida on mujalt raske leida. Näiteks FloQast käitab seda täielikult oma pilves, et hoida finantsandmeid USA, EL-i ja Aasia ja Vaikse ookeani piirkondades, mille kohta saate lugeda TrueFoundry AI Gateway dokumentatsioonist ja juhtumiuuringutest.
Sobib kõige paremini ettevõtetele, mis vajavad andmete asukohta ja täielikku haldust, samal ajal ise lüüsi käitades. Tähelepanu: see on rikkalik platvorm, seega planeerige juurutamist, mitte oodake viieminutilist installimist.
2. Portkey – kiire ja populaarne avatud lähtekoodiga marsruutimise tuum
Portkey muutis oma värava avatud lähtekoodiga MIT-litsentsi alusel ja tuum on tõeliselt hea inseneritöö tulemus: kerge, väga väikese lisalatentsusega, suunab suurele mudelikataloogile integreeritud piiretega ja on hõlpsasti käitatav konteinerina, mida ise majutate. Kui soovite tõestatud avatud lähtekoodiga puhverserverit, millele edasi ehitada, on see üks populaarsemaid lähtepunkte ja seda põhjusega.
Hoiatus seisneb selles, kus jookseb piir tasuta ja tasulise vahel. Isehostitud versioon pakub küll marsruutimise ja töökindluse kihti, kuid jälgitavuse salvestusruum ja armatuurlauad, mitme meeskonna rollipõhine juurdepääs, semantiline vahemällu salvestamine suures mahus ja ettevõtte tugi kuuluvad hostitud või ettevõtte tasemele. Seega toimib see isehostijana sama hästi kui ruuter; täielik halduspakett tähendab tavaliselt tasulist paketti.
Sobib kõige paremini meeskondadele, kes soovivad lihtsat ja ise hostitud marsruutimiskihti. Tähelepanu: enne standardiseerimist kontrollige, millised juhtimisfunktsioonid avatud järgus olemas on.
3. Envoy AI Gateway – CNCF-i toetatud avatud standard
Envoy AI Gateway laiendab CNCF-i Envoy Gateway projekti natiivse tehisintellekti liikluse toega ning see saavutas 2026. aastal stabiilse versiooni 1.0. Tetrate'i ja Bloombergi loodud ja hallatav projekt on esimene CNCF-i toetatud avatud lähtekoodiga tehisintellekti värav, mis on oluline, kui hoolite müüjaneutraalsest juhtimisest ja projektist, mida ei kontrolli üksik kommertsmüüja.
See pakub OpenAI-ga ühilduvat liidest peamiste mudelipakkujate vahel, lisaks marsruutimist, tõrkesiirdefunktsiooni ja OpenTelemetry GenAI jälgimist vestluse, manustamise ja muude lõpp-punktide kaudu. Bloomberg kasutab seda juba tootmiskeskkonnas. Kompromiss seisneb selles, et tegemist on infrastruktuuritasemel tarkvaraga: võimas ja standarditele vastav, kuid see eeldab meeskonnalt, kes tunneb end Envoy ja Kubernetesega mugavalt, ning kõrgema taseme mugavused on pigem isetehtud kui hallatud platvormil.
Sobib kõige paremini platvormimeeskondadele, kes soovivad CNCF-standardil põhinevat Envoy-põhist väravat, mida nad täielikult kontrollivad. Tähelepanu: planeerige eelarve Envoy ja Kubernetes'i nõutava operatiivse asjatundlikkuse jaoks.
4. Higress – suuremahuline, tehisintellektil põhinev avatud lähtekoodiga värav
Higress sai alguse Alibaba sees, oli avatud lähtekoodiga Apache-2.0 all ning põhineb Istiol ja Envoyl. See on läbinud ulatusliku lahingutesti, kusjuures tootmise valideerimine töötleb sadu tuhandeid päringuid sekundis ja konfiguratsioonimuudatused jõustuvad millisekundites, selle asemel et sundida peale häirivaid taaskäivitusi.
Tehisintellekti poolelt toetab see peavoolu mudelipakkujaid, saab oma pluginmehhanismi kaudu majutada MCP servereid, et agendid saaksid tööriistu kutsuda, ning pakub ühtset haldust nii LLM-i kui ka MCP API-de jaoks koos WAF-i ja mitmesuguste autentimisstrateegiatega. See on suurepärane valik, kui teie prioriteedid on toores jõudlus ja tõestatud suure läbilaskevõimega tuum. Nagu teistegi infrastruktuuri-kesksete projektide puhul, on kõrgema taseme juhtimine ja toote lihvimine kergemad kui spetsiaalsel ettevõtte platvormil ning kogukonna raskuskese võib mõnele lääne meeskonnale olla vähem tuttav.
Sobib kõige paremini meeskondadele, kes vajavad suure läbilaskevõimega, täielikult avatud lähtekoodiga tehisintellektil põhinevat väravat. Ettevaatust: suurema osa juhtimiskihist peate ise kokku panema.
5. Gloo AI värav – saadikpõhine ja Kubernetes-põhine
Solo.io Gloo AI Gateway ehitab tehisintellektil põhineva liiklushalduse küpsele Envoy ja Kubernetes-natiivsele väravale. See vastab LLM-liikluse erivajadustele: semantiline vahemällu salvestamine, tokenipõhine kiiruse piiramine, kiire rikastamine, mandaatide süstimine Kubernetes-saladuste kaudu ja andmete väljavoolu kaitse tundliku teabe lekke vältimiseks. Solo.io annetas oma avatud lähtekoodiga värava CNCF-ile (kgateway nime all), seega on olemas tõeliselt avatud tuum.
See nüanss peegeldab selles loendis olevat mustrit: mõned LLM-spetsiifilised võimalused, näiteks tokenil põhinev kiirusepiirang, on tavaliselt osa ettevõtte litsentsist, mitte tasuta tuumast. Kui teil juba on Kubernetes ja soovite Envoy-põhist väravat, mis käsitleb tehisintellekti liiklust esmaklassilise kodanikuna, on see suurepärane valik, kui kaardistate vajalikud funktsioonid õigele tasemele.
Sobib kõige paremini: Kubernetes'i kasutavatele meeskondadele, kes soovivad Envoy-põhist väravat tehisintellektil põhinevate liiklusfunktsioonidega. Tähelepanu: kontrollige, millised LLM-funktsioonid vajavad ettevõtteversiooni.
Kuidas valida
Kui soovid puhtalt avatud lähtekoodiga projekti, mida ise käitada ja hallata, pakuvad Envoy AI Gateway ja Higress sulle standarditele vastavaid ja suure jõudlusega südamikke ning Gloo on tugev valik, kui oled juba Kuberneteses Envoyle pühendunud. Portkey on kõige lihtsam viis marsruutimiskihi ise majutamiseks, eeldusel, et nõustud kihi piiridega. Ja kui sul on tegelikult vaja andmeid, mis jäävad sinu enda pilve koos täieliku ettevõtte halduse ja toega, on TrueFoundry see valik, mis annab sulle ise majutamise positsiooni ilma, et peaksid ise halduspaketti ehitama.
Alumine rida
Tehisintellekti värava isehostimine tähendas varem funktsioonidest loobumist kontrolli nimel. Aastal 2026 see enam nii ei ole: saate CNCF-toega avatud standardi, suure läbilaskevõimega tehisintellektil põhineva tuuma või täielikult hallatava ettevõtte platvormi, mis töötab teie enda keskkonnas. Õige valik sõltub sellest, kui palju soovite ise hallata, võrreldes sellega, kui palju soovite juhtimist kohe alguses. Meeskondadele, kes soovivad nii kontrolli kui ka sügavust, on TrueFoundry parim valik.
