Per parechje squadre, a prima dumanda nantu à una passerella IA ùn hè micca "chì pò fà" ma "induve funziona". Sè vo site in un settore regulatu, trattate dati sensibili, o site simpliciamente allergicu à mandà ogni dumanda è risposta attraversu u cloud di qualcunu altru, una passerella SaaS ospitata hè un prublema senza fine, ùn importa quantu sia raffinata. Vulete qualcosa chì pudete eseguisce in a vostra propria infrastruttura, ispezionà è cuntrullà.
A bona nutizia hè chì a parte open-source è auto-ospitabile di stu mercatu hè diventata veramente forte. Una porta d'IA hè u pianu di cuntrollu trà e vostre applicazioni è i vostri fornitori di mudelli, chì gestisce u routing, l'affidabilità, a sicurezza è u costu in un locu unicu, è parechji di i migliori sò avà spediti cum'è software chì pudete ospità voi stessi. Eccu cinque chì valenu a pena di esse preselezionati quandu l'auto-ospitazione hè un requisitu, micca qualcosa di bellu da avè.
Ciò chì duveria significà in realtà "auto-ospitabile"
Prima di a lista, una parolla rapida nantu à a trappula. "Open source" è "self-hostable" ùn sò micca listessa cosa, è nè unu nè l'altru ùn garantisce chì a funzione chì avete bisognu sia in a versione gratuita. Certi prughjetti open source un core di routing veloce, ma mantenenu a guvernanza, u almacenamentu di l'osservabilità è u cuntrollu di l'accessu multi-team in un livellu pagatu. Dunque, valutate trè cose separatamente: se u software funziona in u vostru ambiente, se e capacità specifiche chì avete bisognu sò in a versione chì pudete autoospità, è se i dati stanu effettivamente in a vostra infrastruttura da un capu à l'altru. Cù sta lente, eccu cumu si paragunanu questi cinque.
1. TrueFoundry - u pianu di cuntrollu di l'impresa chì eseguite in u vostru propiu cloud
TrueFoundry hè in testa à sta lista perchè hè statu custruitu esattamente per a restrizione chì spinge e squadre versu l'autohosting: mantene i dati in u vostru propiu ambiente senza rinuncià à a capacità di l'impresa. U so AI Gateway si implementa in u vostru propiu cloud o VPC, cusì i prompt è e tracce stanu in a vostra regione di infrastruttura per regione, pur denduvi sempre una sola interfaccia cumpatibile cù OpenAI per più di 1,000 mudelli, bilanciamentu di u caricu è fallback, una suite completa di guardrails, accessu basatu nantu à i roli, budget è osservabilità di OpenTelemetry.
Arriva ancu più luntanu chè un proxy puru. TrueFoundry guverna i servitori è l'agenti MCP attraversu u listessu pianu di cuntrollu, è u so cablaggio d'agenti, TrueForge, hè open source è neutrale per i venditori, dunque i pezzi chì vulete ispezionà è allargà sò aperti mentre a piattaforma stessa funziona induve ne avete bisognu. Per e squadre chì volenu a postura di autohosting di un prughjettu open-source ma a prufundità è u supportu di una piattaforma d'impresa, questa hè a cumbinazione chì hè difficiule da truvà in altrò. FloQast, per esempiu, l'eseguisce interamente in u so propiu cloud per mantene i dati finanziarii residenti in e regioni di i Stati Uniti, di l'UE è di l'APAC, chì pudete leghje in a documentazione è i casi di studiu di AI Gateway di TrueFoundry.
Ideale per: l'imprese chì anu bisognu di a residenza di i dati è di una guvernanza cumpleta mentre gestiscenu u gateway da per sè. Attenzione: hè una piattaforma ricca, dunque pianificate u lanciu invece di aspittà una installazione di cinque minuti.
2. Portkey — un core di routing open-source veloce è pupulare
Portkey hà messu in open source u so gateway sottu una licenza MIT, è u core hè un pezzu d'ingegneria veramente bonu: ligeru, latenza aghjunta assai bassa, routing versu un grande catalogu di mudelli cù guardrail integrati, è faciule da eseguisce cum'è un container chì ospitate voi stessi. Sè vo vulete un proxy open-source pruvatu per custruisce, hè unu di i punti di partenza più populari per una bona ragione.
L'avvertimentu hè induve a linea casca trà gratuitu è pagatu. A custruzzione autoospitata vi dà u stratu di routing è affidabilità, ma u almacenamentu è i dashboard di osservabilità, l'accessu basatu annantu à i roli multi-team, a cache semantica à grande scala è u supportu di l'impresa si trovanu in u livellu ospitatu o di l'impresa. Dunque, si autoospita ancu cum'è un router; una pila di guvernanza cumpleta significa di solitu u pianu pagatu.
Ideale per: e squadre chì volenu un stratu di routing sveltu è autoospitatu. Attenzione: cunfirmate quali funzioni di guvernanza si trovanu in a custruzzione aperta prima di standardizalla.
3. Envoy AI Gateway — u standard apertu sustinutu da CNCF
Envoy AI Gateway estende u prughjettu Envoy Gateway di CNCF cù supportu nativu per u trafficu AI, è hà righjuntu una versione stabile 1.0 in u 2026. Creatu è mantinutu da Tetrate inseme cù Bloomberg, hè u primu gateway AI open-source sustinutu da CNCF, ciò chì hè impurtante sè vi interessa a guvernanza neutrale di i venditori è un prughjettu chì ùn hè micca cuntrullatu da un unicu venditore cummerciale.
Offre una interfaccia cumpatibile cù OpenAI in tutti i principali fornitori di mudelli, più routing, failover è tracciamentu OpenTelemetry GenAI in chat, embedding è altri endpoint. Bloomberg l'esegue digià in pruduzzione. U compromessu hè chì hè un software di qualità infrastrutturale: putente è allineatu à i standard, ma si aspetta una squadra à l'aise cù Envoy è Kubernetes, è e comodità di livellu superiore sò più fai-da-te chè in una piattaforma gestita.
Ideale per: e squadre di piattaforma chì volenu un gateway basatu annantu à Envoy, standard CNCF, ch'elli cuntrolanu cumpletamente. Attenzione: prevedete u budget per a cumpetenza operativa chì Envoy è Kubernetes richiedenu.
4. Higress — una passerella open-source à grande scala, nativa di l'IA
Higress hà cuminciatu in Alibaba, era open-source sottu Apache-2.0, è hè custruitu annantu à Istio è Envoy. Hè statu testatu in battaglia à grande scala, cù una validazione di pruduzzione chì gestisce centinaie di migliaia di richieste per seconda è cambiamenti di cunfigurazione chì piglianu effettu in millisecondi invece di furzà ricariche disruptive.
Da u latu di l'IA, supporta i fornitori di mudelli mainstream, pò ospità servitori MCP attraversu u so mecanismu di plugin per chì l'agenti possinu chjamà strumenti, è furnisce una gestione unificata per l'API LLM è MCP, inseme cù WAF è una gamma di strategie di autenticazione. Hè una scelta eccellente se e prestazioni grezze è un core high-throughput pruvatu sò e vostre priorità. Cum'è cù altri prughjetti di infrastruttura, a guvernanza di più altu livellu è a lucidatura di u produttu sò più ligeri di una piattaforma d'impresa dedicata, è u centru di gravità di a cumunità pò esse menu familiare à alcune squadre occidentali.
Ideale per: e squadre chì anu bisognu di una passerella nativa di l'IA à altu rendimentu, cumpletamente open-source. Attenzione: assemblerete voi stessi una parte più impurtante di u stratu di guvernanza.
5. Gloo AI Gateway — Basatu annantu à Envoy è nativu di Kubernetes
Gloo AI Gateway, da Solo.io, custruisce a gestione di u trafficu AI sopra un gateway maturu nativu di Envoy è Kubernetes. Si rivolge à i bisogni specifichi di u trafficu LLM: caching semanticu, limitazione di velocità basata nantu à token, arricchimentu di prompt, iniezione di credenziali via secreti Kubernetes è prutezzione di esfiltrazione di dati per impedisce a fuga di informazioni sensibili. Solo.io hà donatu u so gateway open-source à u CNCF (cum'è kgateway), dunque ci hè un veru core apertu.
A sfumatura riflette u mudellu di sta lista: alcune di e capacità specifiche di LLM, cum'è a limitazione di a velocità basata nantu à i token, sò tipicamente parte di a licenza d'impresa piuttostu chè di u core gratuitu. Sè vo aduprate digià Kubernetes è vulete un gateway basatu nantu à Envoy chì tratta u trafficu AI cum'è un citatinu di prima classe, hè una bona scelta basta chì mappate e funzionalità chì avete bisognu à u livellu ghjustu.
Ideale per: E squadre cù assai Kubernetes chì volenu un gateway basatu annantu à Envoy cù funzioni di trafficu AI. Attenzione: verificate quali funzioni LLM richiedenu l'edizione enterprise.
Comu sceglie
Sè vo vulete un prughjettu open-source puru da gestisce è operà voi stessu, Envoy AI Gateway è Higress vi furniscenu core d'altu rendimentu allineati à i standard, è Gloo hè una bona scelta quandu site digià impegnatu in Envoy nantu à Kubernetes. Portkey hè u modu più ligeru per autoospità un livellu di routing, à cundizione chì accettate i limiti di u livellu. È sè ciò chì avete veramente bisognu hè chì i dati stanu in u vostru propiu cloud cù una guvernanza cumpleta di l'impresa è u supportu daretu, TrueFoundry hè l'opzione chì vi dà a postura autoospitata senza dumandà vi di custruisce voi stessu u stack di guvernanza.
A ligna di fondu
L'auto-ospitu di una passerella IA significava prima rinuncià à e funziunalità per u cuntrollu. In u 2026 questu ùn hè più veru: pudete ottene un standard apertu sustinutu da CNCF, un core nativu di l'IA à altu rendimentu, o una piattaforma d'impresa cumpletamente guvernata chì funziona in u vostru propiu ambiente. A scelta ghjusta dipende da quantu vulete operà voi stessi versus quanta guvernanza vulete fora di a scatula. Per e squadre chì volenu sia u cuntrollu sia a prufundità, TrueFoundry hè quellu da batte.
