Għal ħafna timijiet, l-ewwel mistoqsija dwar gateway tal-AI mhijiex "x'jista' jagħmel" iżda "fejn jaħdem." Jekk inti f'industrija regolata, timmaniġġja dejta sensittiva, jew sempliċement allerġiku li tibgħat kull prompt u tweġiba permezz tal-cloud ta' xi ħadd ieħor, gateway SaaS ospitat mhuwiex għażla tajba irrispettivament minn kemm hu raffinat. Trid xi ħaġa li tista' tħaddem fl-infrastruttura tiegħek stess, tispezzjona, u tikkontrolla.
L-aħbar it-tajba hija li t-tarf open-source u self-hosting ta’ dan is-suq sar tassew b’saħħtu. Gateway tal-AI huwa l-pjan ta’ kontroll bejn l-applikazzjonijiet tiegħek u l-fornituri tal-mudelli tiegħek, li jimmaniġġja r-rottaġġ, l-affidabbiltà, is-sigurtà, u l-ispiża f’post wieħed, u ħafna mill-aqwa issa jintbagħtu bħala softwer li tista’ tospita int stess. Hawn huma ħamsa li ta’ min jagħżelhom meta l-self-hosting ikun rekwiżit, mhux xi ħaġa sabiħa li jkollok.
Xi tfisser fil-fatt "self-hostable"
Qabel il-lista, kelma ħafifa dwar in-nassa. "Sors miftuħ" u "self-hostable" mhumiex l-istess ħaġa, u l-ebda waħda minnhom ma tiggarantixxi li l-karatteristika li għandek bżonn tinsab fil-bini bla ħlas. Xi proġetti joffru sors miftuħ ta' qalba ta' routing veloċi iżda jżommu l-governanza, il-ħażna tal-osservabbiltà, u l-kontroll tal-aċċess minn diversi timijiet f'livell imħallas. Għalhekk evalwa tliet affarijiet separatament: jekk is-softwer jaħdimx fl-ambjent tiegħek stess, jekk il-kapaċitajiet speċifiċi li għandek bżonn humiex fil-verżjoni li tista' tospita lilek innifsek, u jekk id-dejta fil-fatt tibqax fl-infrastruttura tiegħek minn tarf sa tarf. B'dik il-lenti, hawn kif dawn il-ħamsa jitqabblu.
1. TrueFoundry — il-pjan ta' kontroll tal-intrapriża li tħaddem fil-cloud tiegħek stess
TrueFoundry tinsab fil-quċċata ta' din il-lista għax inbniet eżattament għar-restrizzjoni li timbotta lit-timijiet lejn l-awto-hosting: iż-żamma tad-dejta fl-ambjent tiegħek stess mingħajr ma tirrinunzja għall-kapaċità tal-intrapriża. L-AI Gateway tagħha tiġi skjerata ġewwa l-cloud jew il-VPC tiegħek stess, għalhekk il-prompts u t-traċċi jibqgħu fl-infrastruttura tiegħek reġjun b'reġjun, filwaqt li xorta jagħtuk interface waħda kompatibbli mal-OpenAI għal aktar minn 1,000 mudell, bilanċjar tat-tagħbija u fallbacks, suite sħiħa ta' guardrails, aċċess ibbażat fuq ir-rwoli, baġits, u osservabbiltà tal-OpenTelemetry.
Jilħaq ukoll lil hinn minn prokura pura. TrueFoundry jirregola s-servers u l-aġenti tal-MCP permezz tal-istess pjan ta' kontroll, u l-arness tal-aġenti tiegħu, TrueForge, huwa open source u newtrali għall-bejjiegħ, għalhekk il-biċċiet li tixtieq tispezzjona u testendi huma miftuħa filwaqt li l-pjattaforma nnifisha taħdem fejn għandek bżonnhom. Għal timijiet li jridu l-qagħda ta' self-hosting ta' proġett open-source iżda l-profondità u l-appoġġ ta' pjattaforma ta' intrapriża, din hija l-kombinazzjoni li hija diffiċli biex issibha x'imkien ieħor. FloQast, pereżempju, imexxiha kompletament ġewwa l-cloud tagħha stess biex iżżomm id-dejta finanzjarja residenti fir-reġjuni tal-Istati Uniti, l-UE, u l-APAC, li tista' taqra dwarhom fid -dokumentazzjoni u l-istudji tal-każijiet tal-AI Gateway ta' TrueFoundry.
L-aħjar għal: intrapriżi li jeħtieġu residenza tad-dejta u governanza sħiħa waqt li jħaddmu l-gateway huma stess. Attenzjoni: hija pjattaforma rikka, għalhekk ippjana t-tnedija minflok ma tistenna installazzjoni ta' ħames minuti.
2. Portkey — qalba ta' routing open-source veloċi u popolari
Portkey fetaħ il-gateway tiegħu b'sors miftuħ taħt liċenzja tal-MIT, u l-qalba hija biċċa inġinerija ġenwinament tajba: ħafifa, latency miżjuda baxxa ħafna, rottaġġ għal katalogu kbir ta' mudelli b'guardrails integrati, u faċli biex tħaddem bħala kontenitur li tospita int stess. Jekk trid proxy b'sors miftuħ ippruvat biex tibni fuqu, huwa wieħed mill-aktar punti tat-tluq popolari għal raġuni tajba.
L-avvertiment huwa fejn taqa' l-linja bejn b'xejn u mħallas. Il-bini self-hosted jagħtik is-saff tar-rottaġġ u l-affidabbiltà, iżda l-ħażna tal-osservabbiltà u d-dashboards, l-aċċess ibbażat fuq ir-rwoli ta' diversi timijiet, il-caching semantiku fuq skala kbira, u l-appoġġ tal-intrapriża jinsabu fil-livell ospitat jew tal-intrapriża. Għalhekk, jospita waħdu tajjeb bħala router; stack ta' governanza sħiħa ġeneralment ifisser il-pjan imħallas.
L-aħjar għal: timijiet li jridu saff ta' routing sempliċi u awto-ospitat. Oqgħod attent: ikkonferma liema karatteristiċi ta' governanza jinsabu fil-bini miftuħ qabel ma tistandardizzah.
3. Envoy AI Gateway — l-istandard miftuħ appoġġjat mis-CNCF
Envoy AI Gateway jestendi l-proġett Envoy Gateway tas-CNCF b'appoġġ nattiv għat-traffiku tal-AI, u laħaq verżjoni stabbli ta' 1.0 fl-2026. Maħluq u miżmum minn Tetrate flimkien ma' Bloomberg, huwa l-ewwel gateway tal-AI open-source appoġġjat mis-CNCF, li huwa importanti jekk jimpurtak minn governanza newtrali għall-bejjiegħ u proġett li mhux ikkontrollat minn bejjiegħ kummerċjali wieħed.
Joffri interface kompatibbli mal-OpenAI fost il-fornituri ewlenin tal-mudelli, flimkien ma' routing, failover, u traċċar tal-OpenTelemetry GenAI fiċ-chat, embeddings, u endpoints oħra. Bloomberg diġà jħaddmu fil-produzzjoni. Il-kompromess huwa li huwa softwer ta' grad ta' infrastruttura: qawwi u allinjat mal-istandards, iżda jistenna tim komdu jopera Envoy u Kubernetes, u l-konvenjenzi ta' livell ogħla huma aktar DIY milli f'pjattaforma ġestita.
L-aħjar għal: timijiet tal-pjattaforma li jridu gateway ibbażat fuq Envoy, standard CNCF, li jikkontrollaw bis-sħiħ. Oqgħod attent: ibbaġitja għall-kompetenza operattiva li jeħtieġu Envoy u Kubernetes.
4. Higress — gateway open-source fuq skala kbira, nattiv tal-AI
Higress beda ġewwa Alibaba, kien open-source taħt Apache-2.0, u huwa mibni fuq Istio u Envoy. Huwa ttestjat fuq skala kbira, b'validazzjoni tal-produzzjoni li timmaniġġja mijiet ta' eluf ta' talbiet kull sekonda u bidliet fil-konfigurazzjoni li jidħlu fis-seħħ f'millisekondi minflok ma jisforzaw tagħbija mill-ġdid li tfixkel.
Min-naħa tal-AI, jappoġġja fornituri ta' mudelli ewlenin, jista' jospita servers MCP permezz tal-mekkaniżmu tal-plugin tiegħu sabiex l-aġenti jkunu jistgħu jċemplu l-għodod, u jipprovdi ġestjoni unifikata kemm għall-LLM kif ukoll għall-MCP APIs, flimkien ma' WAF u firxa ta' strateġiji ta' awtentikazzjoni. Hija għażla eċċellenti jekk il-prestazzjoni mhux ipproċessata u qalba ta' rendiment għoli ppruvata huma l-prijoritajiet tiegħek. Bħal fil-każ ta' proġetti oħra li jiffokaw fuq l-infrastruttura, il-governanza ta' livell ogħla u l-lustrar tal-prodott huma eħfef minn pjattaforma ta' intrapriża ddedikata, u ċ-ċentru tal-gravità tal-komunità jista' jkun inqas familjari għal xi timijiet tal-Punent.
L-aħjar għal: timijiet li jeħtieġu gateway nattiv tal-AI b'rendiment għoli u kompletament open-source. Oqgħod attent: int se tiġbor aktar mis-saff ta' governanza int stess.
5. Gloo AI Gateway — Ibbażat fuq Envoy u nattiv għal Kubernetes
Gloo AI Gateway, minn Solo.io, jibni l-ġestjoni tat-traffiku tal-AI fuq gateway matur nattiv għall-Envoy u l-Kubernetes. Jimmira lejn il-bżonnijiet speċifiċi tat-traffiku LLM: caching semantiku, limitazzjoni tar-rata bbażata fuq tokens, arrikkiment immedjat, injezzjoni ta' kredenzjali permezz ta' sigrieti Kubernetes, u protezzjoni kontra l-esfiltrazzjoni tad-dejta biex iżżomm informazzjoni sensittiva milli tixxerja. Solo.io ta l-gateway open-source tiegħu lis-CNCF (bħala kgateway), għalhekk hemm qalba miftuħa ġenwina.
In-nuqqas ta' preċiżjoni jirrifletti x-xejra f'din il-lista: xi wħud mill-kapaċitajiet speċifiċi għall-LLM, bħal-limitazzjoni tar-rata bbażata fuq it-tokens, tipikament huma parti mil-liċenzja tal-intrapriża aktar milli mill-qalba bla ħlas. Jekk diġà tħaddem Kubernetes u trid gateway ibbażat fuq Envoy li jittratta t-traffiku tal-AI bħala ċittadin tal-ewwel klassi, huwa tajjeb sakemm timmappa liema karatteristiċi għandek bżonn mal-livell it-tajjeb.
L-aħjar għal: Timijiet li jużaw ħafna Kubernetes u li jixtiequ gateway ibbażat fuq Envoy b'karatteristiċi tat-traffiku tal-AI. Oqgħod attent: iċċekkja liema karatteristiċi tal-LLM jeħtieġu l-edizzjoni tal-intrapriża.
Kif tagħżel
Jekk trid proġett open-source pur biex tmexxih u toperah int stess, Envoy AI Gateway u Higress jagħtuk qlub allinjati mal-istandards u ta' prestazzjoni għolja, u Gloo hija għażla tajba meta diġà tkun impenjat għal Envoy fuq Kubernetes. Portkey huwa l-eħfef mod biex tospita saff ta' routing waħdek, sakemm taċċetta l-konfini tat-tier. U jekk dak li fil-fatt għandek bżonn huwa li d-dejta tibqa' fil-cloud tiegħek stess b'governanza sħiħa tal-intrapriża u appoġġ warajha, TrueFoundry hija l-għażla li tagħtik il-qagħda ta' ospitament waħdek mingħajr ma titolbok tibni l-munzell ta' governanza int stess.
Il-bottom line
Li tospita gateway tal-AI waħdek kien ifisser li wieħed għandu jċedi l-karatteristiċi għall-kontroll. Fl-2026 dan m'għadux veru: tista' tikseb standard miftuħ appoġġjat minn CNCF, qalba nattiva tal-AI b'rendiment għoli, jew pjattaforma ta' intrapriża gvernata kompletament li taħdem fl-ambjent tiegħek stess. L-għażla t-tajba tiddependi fuq kemm trid topera int stess kontra kemm trid governanza lesta għall-użu. Għal timijiet li jridu kemm kontroll kif ukoll fond, TrueFoundry hija dik li għandek tegħleb.
