Daugeliui komandų pirmasis klausimas apie dirbtinio intelekto šliuzą yra ne „ką jis gali padaryti“, o „kur jis veikia“. Jei dirbate reguliuojamoje pramonės šakoje, tvarkote slaptus duomenis arba tiesiog esate alergiški siųsti kiekvieną raginimą ir atsakymą per kažkieno kito debesį, talpinamas SaaS šliuzas nėra tinkamas pasirinkimas, kad ir koks jis būtų išbaigtas. Jums reikia kažko, ką galėtumėte paleisti savo infrastruktūroje, tikrinti ir kontroliuoti.
Geros naujienos yra tai, kad atvirojo kodo ir savarankiškai talpinamų programų rinkos dalis išties sustiprėjo. Dirbtinio intelekto šliuzas yra valdymo plokštuma tarp jūsų programų ir modelių teikėjų, vienoje vietoje tvarkanti maršrutizavimą, patikimumą, saugumą ir sąnaudas, o kelios geriausios dabar yra programinės įrangos, kurią galite talpinti patys. Štai penkios, kurias verta atrinkti, kai savarankiškai talpinamas serveris yra būtinybė, o ne malonumas.
Ką iš tikrųjų turėtų reikšti „savarankiškai priimamas“
Prieš pradedant sąrašą, trumpai apie kliūtis. „Atvirojo kodo“ ir „savarankiškai talpinamas“ nėra tas pats ir nė viena iš jų negarantuoja, kad reikalinga funkcija yra nemokamoje versijoje. Kai kurie projektai atvirojo kodo greito maršrutizavimo branduolį, tačiau valdymą, stebimumo saugyklą ir kelių komandų prieigos kontrolę išlaiko mokamoje pakopoje. Taigi, įvertinkite tris dalykus atskirai: ar programinė įranga veikia jūsų aplinkoje, ar konkrečios jums reikalingos funkcijos yra versijoje, kurią galite talpinti savarankiškai, ir ar duomenys iš tikrųjų išlieka jūsų infrastruktūroje nuo galo iki galo. Žvelgiant iš šios perspektyvos, štai kaip šie penki dalykai palyginami.
1. „TrueFoundry“ – įmonės valdymo plokštuma, kurią valdote savo debesyje
„TrueFoundry“ pirmauja šiame sąraše, nes buvo sukurta atsižvelgiant į apribojimus, kurie skatina komandas savarankiškai talpinti duomenis: saugoti duomenis savo aplinkoje neatsisakant įmonės galimybių. Jos dirbtinio intelekto šliuzas diegiamas jūsų debesyje arba VPC, todėl raginimai ir sekimai lieka jūsų infrastruktūros regionuose, tuo pačiu suteikiant jums vieną su „OpenAI“ suderinamą sąsają su daugiau nei 1,000 modelių, apkrovos balansavimą ir atsargines versijas, visą apsauginių turėklų rinkinį, vaidmenimis pagrįstą prieigą, biudžetus ir „OpenTelemetry“ stebimumą.
Jis taip pat pasiekia daugiau nei vien tik tarpinis serveris. „TrueFoundry“ valdo MCP serverius ir agentus per tą pačią valdymo plokštumą, o jo agentų sąsaja „TrueForge“ yra atvirojo kodo ir nepriklausoma nuo tiekėjo, todėl dalys, kurias norite patikrinti ir išplėsti, yra atviros, o pati platforma veikia ten, kur jums reikia. Komandoms, kurios nori atvirojo kodo projekto savarankiško talpinimo, bet kartu ir įmonės platformos gylio bei palaikymo, tai yra derinys, kurį sunku rasti kitur. Pavyzdžiui, „FloQast“ veikia visiškai savo debesyje, kad finansiniai duomenys būtų saugomi JAV, ES ir APAC regionuose, apie ką galite perskaityti „ TrueFoundry“ AI šliuzo dokumentacijoje ir atvejų analizėse.
Geriausiai tinka: įmonėms, kurioms reikalinga duomenų saugykla ir visiškas valdymas, pačioms valdant šliuzą. Dėmesio: tai daugiafunkcinė platforma, todėl planuokite diegimą, o ne tikėkitės penkių minučių diegimo.
2. „Portkey“ – greitas, populiarus atvirojo kodo maršrutizavimo branduolys
„Portkey“ savo šliuzą išleido kaip atvirojo kodo pagal MIT licenciją, o branduolys yra išties geras inžinerijos kūrinys: lengvas, labai mažas pridėtinis delsos laikas, nukreipiamas į didelį modelių katalogą su integruotais apsauginiais turėklais ir lengvai valdomas kaip konteineris, kurį talpinate patys. Jei norite patikimo atvirojo kodo tarpinio serverio, ant kurio galėtumėte kurti savo veiklą, tai yra vienas populiariausių atspirties taškų ir dėl geros priežasties.
Išlyga yra ta, kur yra riba tarp nemokamo ir mokamo. Savarankiškai talpinama versija suteikia maršrutizavimo ir patikimumo sluoksnį, tačiau stebimumo saugykla ir ataskaitų suvestinės, kelių komandų vaidmenimis pagrįsta prieiga, didelio masto semantinis kaupimas talpykloje ir įmonės palaikymas yra talpinamos arba įmonės lygmenyje. Taigi, ji veikia taip pat gerai, kaip ir maršrutizatorius; pilnas valdymo paketas paprastai reiškia mokamą planą.
Geriausiai tinka: komandoms, norinčioms efektyvaus, savarankiškai talpinamo maršrutizavimo sluoksnio. Dėmesio: prieš standartizuodami atvirąją versiją, patikrinkite, kurios valdymo funkcijos yra joje.
3. „Envoy AI Gateway“ – CNCF palaikomas atviras standartas
„Envoy AI Gateway“ išplečia CNCF „Envoy Gateway“ projektą, pridėdamas vietinę dirbtinio intelekto srauto palaikymą, ir 2026 m. pasiekė stabilų 1.0 lygį. Sukurtas ir prižiūrimas „Tetrate“ kartu su „Bloomberg“, tai pirmasis CNCF remiamas atvirojo kodo dirbtinio intelekto šliuzas, kuris yra svarbus, jei jums rūpi tiekėjo neutralus valdymas ir projektas, kurio nekontroliuoja vienas komercinis tiekėjas.
Ji siūlo su „OpenAI“ suderinamą sąsają su pagrindiniais modelių teikėjais, taip pat maršrutizavimą, perjungimą į atsargines kopijas ir „OpenTelemetry GenAI“ sekimą pokalbių kambariuose, įterpimuose ir kituose galiniuose įrenginiuose. „Bloomberg“ jau naudoja ją gamybinėje aplinkoje. Kompromisas yra tas, kad tai infrastruktūros lygio programinė įranga: galinga ir atitinka standartus, tačiau tikimasi, kad komanda patogiai valdys „Envoy“ ir „Kubernetes“, o aukštesnio lygio patogumai yra labiau „pasidaryk pats“ nei valdomoje platformoje.
Geriausiai tinka: platformų komandoms, norinčioms CNCF standarto, „Envoy“ pagrindu sukurto šliuzo, kurį jos visiškai kontroliuoja. Dėmesio: biudžete numatyti „Envoy“ ir „Kubernetes“ reikalaujamos operacinės patirties reikalavimus.
4. „Higress“ – didelio masto, dirbtinio intelekto pagrindu veikianti atvirojo kodo platforma
„Higress“ buvo sukurta „Alibaba“ viduje, buvo atvirojo kodo su „Apache-2.0“ ir sukurta naudojant „Istio“ bei „Envoy“. Ji buvo išbandyta dideliu mastu, gamybinis patvirtinimas apdoroja šimtus tūkstančių užklausų per sekundę, o konfigūracijos pakeitimai įsigalioja per milisekundes, o ne verčia sistemą įkelti iš naujo.
Kalbant apie dirbtinį intelektą, jis palaiko pagrindinius modelių teikėjus, gali talpinti MCP serverius per savo papildinio mechanizmą, kad agentai galėtų iškviesti įrankius, ir užtikrina vieningą LLM ir MCP API valdymą kartu su WAF ir įvairiomis autentifikavimo strategijomis. Tai puikus pasirinkimas, jei jūsų prioritetai yra neapdorotas našumas ir patikrintas didelio našumo branduolys. Kaip ir kituose infrastruktūros projektuose, aukštesnio lygio valdymas ir produkto poliravimas yra lengvesni nei specialioje įmonės platformoje, o bendruomenės svorio centras kai kurioms Vakarų komandoms gali būti mažiau pažįstamas.
Geriausiai tinka: komandoms, kurioms reikia didelio našumo, visiškai atvirojo kodo dirbtinio intelekto pagrindu veikiančio šliuzo. Būkite atsargūs: didesnę valdymo sluoksnio dalį surinksite patys.
5. „Gloo AI Gateway“ – pagrįstas pasiuntiniu ir sukurtas naudojant „Kubernetes“
„Solo.io“ sukurtas „Gloo AI Gateway“ sukuria dirbtinio intelekto srauto valdymą, pagrįstą brandžiu „Envoy“ ir „Kubernetes“ šliuzu. Jis skirtas konkretiems LLM srauto poreikiams: semantinis kaupimas talpykloje, žetonų pagrindu veikiantis greičio ribojimas, greitas praturtinimas, kredencialų įterpimas naudojant „Kubernetes“ paslaptis ir duomenų nutekėjimo apsauga, siekiant apsaugoti neskelbtiną informaciją nuo nutekėjimo. „Solo.io“ savo atvirojo kodo šliuzą paaukojo CNCF (kaip „kgateway“), todėl yra tikrai atviras branduolys.
Šis niuansas atspindi šiame sąraše pateiktą modelį: kai kurios LLM būdingos funkcijos, pvz., žetonais pagrįstas greičio ribojimas, paprastai yra įmonės licencijos, o ne nemokamos branduolio dalis. Jei jau naudojate „Kubernetes“ ir norite „Envoy“ pagrindu sukurto šliuzo, kuris dirbtinio intelekto srautą traktuotų kaip pirmos klasės piliečius, tai puikiai tinka, jei tik susiesite, kurias funkcijas jums reikia, su tinkamu lygiu.
Geriausiai tinka: komandoms, kuriose daug naudojama „Kubernetes“ ir norinčioms „Envoy“ pagrindu veikiančio šliuzo su dirbtinio intelekto srauto funkcijomis. Dėmesio: patikrinkite, kurioms LLM funkcijoms reikalinga įmonės versija.
Kaip pasirinkti
Jei norite grynai atvirojo kodo projekto, kurį galėtumėte vykdyti ir valdyti patys, „Envoy AI Gateway“ ir „Higress“ suteikia standartus atitinkančius, didelio našumo branduolius, o „Gloo“ yra geras pasirinkimas, kai jau esate įsipareigoję naudoti „Envoy“ Kubernetes platformoje. „Portkey“ yra lengviausias būdas savarankiškai talpinti maršrutizavimo sluoksnį, jei sutinkate su lygio ribomis. O jei jums iš tikrųjų reikia duomenų, kurie liktų jūsų debesyje su visišku įmonės valdymu ir palaikymu, „TrueFoundry“ yra pasirinkimas, suteikiantis savarankiško talpinimo poziciją, nereikalaujant patiems kurti valdymo paketo.
Esmė
Dirbtinio intelekto šliuzo talpinimas savarankiškai anksčiau reiškė funkcijų atsisakymą dėl kontrolės. 2026 m. tai nebegalioja: galite gauti CNCF pagrįstą atvirąjį standartą, didelio našumo dirbtinio intelekto pagrindu sukurtą branduolį arba visiškai valdomą įmonės platformą, veikiančią jūsų aplinkoje. Tinkamas pasirinkimas priklauso nuo to, kiek norite valdyti patys, o kiek norite valdymo iš karto. Komandoms, norinčioms ir kontrolės, ir išsamumo, „TrueFoundry“ yra geriausias pasirinkimas.
