Per molti team, la prima domanda riguardo a un gateway AI non è "cosa può fare", ma "dove viene eseguito". Se operate in un settore regolamentato, gestite dati sensibili o semplicemente non volete che ogni richiesta e risposta passi attraverso il cloud di terzi, un gateway SaaS ospitato esternamente non è una soluzione praticabile, per quanto sofisticato possa essere. Avete bisogno di qualcosa che possiate eseguire all'interno della vostra infrastruttura, ispezionare e controllare.
La buona notizia è che il segmento open-source e self-hosted di questo mercato si è rafforzato notevolmente. Un gateway AI funge da piano di controllo tra le applicazioni e i fornitori di modelli, gestendo instradamento, affidabilità, sicurezza e costi in un unico punto, e molti dei migliori sono ora disponibili come software che è possibile ospitare autonomamente. Ecco cinque soluzioni da prendere in considerazione quando l'hosting autonomo è un requisito fondamentale e non un optional.
Cosa dovrebbe significare realmente "autogestibile"
Prima di passare all'elenco, una breve precisazione sulla trappola. "Open source" e "autogestibile" non sono la stessa cosa, e nessuna delle due garantisce che la funzionalità di cui hai bisogno sia presente nella versione gratuita. Alcuni progetti rendono open source un core di routing veloce, ma mantengono la governance, l'archiviazione per l'osservabilità e il controllo degli accessi multi-team in un livello a pagamento. Quindi, valuta separatamente tre aspetti: se il software funziona nel tuo ambiente, se le funzionalità specifiche di cui hai bisogno sono presenti nella versione che puoi autogestire e se i dati rimangono effettivamente nella tua infrastruttura end-to-end. Tenendo conto di ciò, ecco un confronto tra questi cinque progetti.
1. TrueFoundry: il piano di controllo aziendale che esegui nel tuo cloud.
TrueFoundry è in cima a questa lista perché è stato progettato proprio per rispondere al vincolo che spinge i team verso l'hosting autonomo: mantenere i dati nel proprio ambiente senza rinunciare alle funzionalità di livello enterprise. Il suo AI Gateway viene distribuito all'interno del cloud o della VPC del cliente, in modo che prompt e tracce rimangano nella propria infrastruttura, regione per regione, offrendo al contempo un'unica interfaccia compatibile con OpenAI per oltre 1,000 modelli, bilanciamento del carico e fallback, una suite completa di misure di sicurezza, accesso basato sui ruoli, budget e osservabilità OpenTelemetry.
Va ben oltre un semplice proxy. TrueFoundry gestisce server e agenti MCP attraverso lo stesso piano di controllo e il suo framework per agenti, TrueForge, è open source e indipendente dal fornitore, quindi i componenti che si desidera esaminare ed estendere sono aperti, mentre la piattaforma stessa viene eseguita dove necessario. Per i team che desiderano la flessibilità di un progetto open source ma la profondità e il supporto di una piattaforma enterprise, questa è una combinazione difficile da trovare altrove. FloQast, ad esempio, la esegue interamente all'interno del proprio cloud per mantenere i dati finanziari residenti nelle regioni Stati Uniti, UE e APAC, come si può leggere nella documentazione e nei casi di studio di TrueFoundry AI Gateway .
Ideale per: aziende che necessitano di residenza dei dati e piena governance, gestendo internamente il gateway. Attenzione: si tratta di una piattaforma complessa, quindi è fondamentale pianificare l'implementazione anziché aspettarsi un'installazione in cinque minuti.
2. Portkey: un core di routing open-source veloce e popolare
Portkey ha reso open source il suo gateway con licenza MIT, e il suo nucleo è un vero gioiello di ingegneria: leggero, con una latenza aggiunta molto bassa, instradamento verso un ampio catalogo di modelli con meccanismi di controllo integrati e facile da eseguire come container ospitato autonomamente. Se cercate un proxy open source collaudato su cui basarvi, è uno dei punti di partenza più popolari, e a ragione.
Il punto cruciale è dove si colloca la linea di demarcazione tra la versione gratuita e quella a pagamento. La versione self-hosted offre il livello di routing e affidabilità, ma l'archiviazione e le dashboard di osservabilità, l'accesso multi-team basato sui ruoli, la cache semantica su larga scala e il supporto aziendale sono inclusi nel livello hosted o enterprise. Quindi, la versione self-hosted funziona bene come router; per una suite completa di governance, di solito è necessario il piano a pagamento.
Ideale per: team che desiderano un livello di routing snello e self-hosted. Attenzione: prima di adottarlo come standard, verificate quali funzionalità di governance sono presenti nella versione open source.
3. Envoy AI Gateway: lo standard aperto supportato dalla CNCF
Envoy AI Gateway estende il progetto Envoy Gateway della CNCF con il supporto nativo per il traffico AI e ha raggiunto la versione stabile 1.0 nel 2026. Creato e gestito da Tetrate in collaborazione con Bloomberg, è il primo gateway AI open source supportato dalla CNCF, un aspetto importante se si tiene alla governance neutrale rispetto ai fornitori e a un progetto non controllato da un singolo fornitore commerciale.
Offre un'interfaccia compatibile con OpenAI per i principali provider di modelli, oltre a funzionalità di routing, failover e tracciamento OpenTelemetry GenAI per chat, embedding e altri endpoint. Bloomberg lo utilizza già in produzione. Il compromesso è che si tratta di un software di livello infrastrutturale: potente e conforme agli standard, ma richiede un team con familiarità con Envoy e Kubernetes, e le funzionalità avanzate sono più gestibili autonomamente rispetto a una piattaforma gestita.
Ideale per: team di piattaforma che desiderano un gateway basato su Envoy e conforme agli standard CNCF, di cui abbiano il pieno controllo. Attenzione: è necessario prevedere un budget adeguato per le competenze operative richieste da Envoy e Kubernetes.
4. Higress: un gateway open-source su larga scala, nativo per l'IA.
Higress è nato all'interno di Alibaba, è stato rilasciato come progetto open source sotto licenza Apache-2.0 ed è basato su Istio ed Envoy. È stato testato a fondo su larga scala, con validazioni in produzione che gestiscono centinaia di migliaia di richieste al secondo e modifiche alla configurazione che hanno effetto in millisecondi, senza richiedere ricaricamenti che interrompono l'applicazione.
Sul fronte dell'IA, supporta i principali provider di modelli, può ospitare server MCP tramite il suo meccanismo di plugin in modo che gli agenti possano richiamare gli strumenti e fornisce una gestione unificata sia per le API LLM che MCP, insieme a WAF e una gamma di strategie di autenticazione. È una scelta eccellente se le prestazioni pure e un core ad alto throughput collaudato sono le vostre priorità. Come per altri progetti incentrati sull'infrastruttura, la governance di livello superiore e la cura dei dettagli del prodotto sono meno approfondite rispetto a una piattaforma aziendale dedicata e il centro di gravità della community potrebbe essere meno familiare ad alcuni team occidentali.
Ideale per: team che necessitano di un gateway nativo per l'IA, completamente open-source e ad alta velocità. Attenzione: dovrete assemblare autonomamente una parte maggiore del livello di governance.
5. Gloo AI Gateway — Basato su Envoy e nativo di Kubernetes
Gloo AI Gateway, di Solo.io, integra la gestione del traffico basata sull'intelligenza artificiale in un gateway nativo di Envoy e Kubernetes, già consolidato. È progettato per soddisfare le esigenze specifiche del traffico LLM: caching semantico, limitazione della velocità basata su token, arricchimento dei prompt, iniezione delle credenziali tramite segreti di Kubernetes e protezione dall'esfiltrazione dei dati per impedire la fuga di informazioni sensibili. Solo.io ha donato il suo gateway open source alla CNCF (come kgateway), garantendo così un nucleo open source autentico.
La sfumatura rispecchia lo schema presente in questo elenco: alcune delle funzionalità specifiche di LLM, come la limitazione della velocità basata su token, sono in genere incluse nella licenza enterprise piuttosto che nella versione base gratuita. Se utilizzi già Kubernetes e desideri un gateway basato su Envoy che tratti il traffico AI come prioritario, è un'ottima soluzione a patto di associare le funzionalità necessarie al livello di licenza più adatto.
Ideale per: team che utilizzano intensamente Kubernetes e desiderano un gateway basato su Envoy con funzionalità di gestione del traffico basate sull'intelligenza artificiale. Attenzione: verifica quali funzionalità di LLM richiedono la versione enterprise.
Come scegliere
Se desideri un progetto open source puro da gestire e amministrare in autonomia, Envoy AI Gateway e Higress offrono core ad alte prestazioni conformi agli standard, mentre Gloo rappresenta un'ottima scelta se hai già scelto Envoy su Kubernetes. Portkey è la soluzione più leggera per ospitare autonomamente un livello di routing, a patto di accettare i limiti imposti dai vari livelli. Se invece ciò di cui hai effettivamente bisogno è che i dati rimangano nel tuo cloud con una governance e un supporto aziendali completi, TrueFoundry è l'opzione che ti offre la possibilità di ospitare autonomamente i dati senza dover creare da zero lo stack di governance.
La linea di fondo
Un tempo, ospitare autonomamente un gateway AI significava rinunciare a funzionalità per avere maggiore controllo. Nel 2026, questo non è più vero: è possibile ottenere uno standard aperto supportato dalla CNCF, un core nativo AI ad alte prestazioni o una piattaforma enterprise completamente governata che funziona all'interno del proprio ambiente. La scelta giusta dipende da quanto si desidera gestire autonomamente la piattaforma e da quanto controllo si desidera ottenere fin da subito. Per i team che desiderano sia controllo che funzionalità avanzate, TrueFoundry è la soluzione ideale.
