Pour de nombreuses équipes, la première question concernant une passerelle IA n'est pas « que peut-elle faire ? » mais « où s'exécute-t-elle ? ». Si vous travaillez dans un secteur réglementé, si vous traitez des données sensibles ou si vous êtes tout simplement réticent à faire transiter chaque requête et réponse par le cloud d'un tiers, une passerelle SaaS hébergée est à proscrire, aussi performante soit-elle. Vous avez besoin d'une solution que vous pouvez exécuter au sein de votre propre infrastructure, inspecter et contrôler.
La bonne nouvelle, c'est que le segment open source et auto-hébergé de ce marché a considérablement progressé. Une passerelle IA sert d'interface de contrôle entre vos applications et vos fournisseurs de modèles, centralisant la gestion du routage, de la fiabilité, de la sécurité et des coûts. Plusieurs des meilleures passerelles sont désormais disponibles sous forme de logiciels que vous pouvez héberger vous-même. Voici cinq solutions à privilégier lorsque l'auto-hébergement est indispensable.
Que signifie réellement « auto-hébergé » ?
Avant de vous présenter la liste, un petit avertissement : « open source » et « auto-hébergeable » ne sont pas synonymes, et aucun des deux ne garantit la présence de la fonctionnalité recherchée dans la version gratuite. Certains projets proposent un noyau de routage rapide en open source, mais réservent la gouvernance, le stockage des données d'observabilité et le contrôle d'accès multi-équipes à une version payante. Il est donc essentiel d'évaluer trois points séparément : la compatibilité du logiciel avec votre environnement, la présence des fonctionnalités spécifiques dont vous avez besoin dans la version auto-hébergée, et la sécurité de bout en bout des données au sein de votre infrastructure. Voici, sous cet angle, une comparaison de ces cinq solutions.
1. TrueFoundry — le plan de contrôle d'entreprise que vous exécutez dans votre propre cloud
TrueFoundry arrive en tête de ce classement car il a été conçu précisément pour répondre à la contrainte qui pousse les équipes vers l'auto-hébergement : conserver les données dans leur propre environnement sans renoncer aux fonctionnalités d'entreprise. Sa passerelle IA se déploie au sein de votre cloud ou VPC, de sorte que les invites et les traces restent dans votre infrastructure, région par région, tout en vous offrant une interface unique compatible OpenAI pour plus de 1 000 modèles, l'équilibrage de charge et les basculements, une suite complète de garde-fous, un contrôle d'accès basé sur les rôles, des budgets et l'observabilité OpenTelemetry.
TrueFoundry va bien au-delà d'un simple proxy. La plateforme TrueFoundry gère les serveurs et agents MCP via un plan de contrôle unique, et son framework d'agents, TrueForge, est open source et indépendant des fournisseurs. Ainsi, les composants que vous souhaitez examiner et étendre sont accessibles, tandis que la plateforme elle-même s'exécute là où vous en avez besoin. Pour les équipes qui recherchent la flexibilité d'un projet open source en matière d'auto-hébergement, combinée à la richesse fonctionnelle et au support d'une plateforme d'entreprise, cette solution est rare. FloQast, par exemple, l'exécute intégralement dans son propre cloud afin de garantir la présence des données financières aux États-Unis, en Europe et en Asie-Pacifique. Vous trouverez plus d'informations à ce sujet dans la documentation et les études de cas de TrueFoundry AI Gateway .
Idéal pour : les entreprises qui exigent la résidence des données et une gouvernance complète tout en gérant elles-mêmes la passerelle. Attention : il s’agit d’une plateforme riche, il est donc conseillé de bien planifier le déploiement plutôt que de s’attendre à une installation en cinq minutes.
2. Portkey — un noyau de routage open source rapide et populaire
Portkey a publié le code source de sa passerelle sous licence MIT, et son noyau est un véritable bijou d'ingénierie : léger, avec une latence ajoutée extrêmement faible, un routage vers un vaste catalogue de modèles avec des garde-fous intégrés, et facile à exécuter dans un conteneur hébergé sur votre serveur. Si vous recherchez un proxy open source éprouvé comme base de développement, c'est l'un des points de départ les plus populaires, et ce à juste titre.
La différence réside dans la distinction entre la version gratuite et la version payante. La version auto-hébergée offre la couche de routage et de fiabilité, mais le stockage d'observabilité et les tableaux de bord, le contrôle d'accès multi-équipes basé sur les rôles, la mise en cache sémantique à grande échelle et le support aux entreprises sont réservés à la version hébergée ou à la version entreprise. Ainsi, la version auto-hébergée convient parfaitement comme routeur ; une solution de gouvernance complète nécessite généralement l'abonnement payant.
Idéal pour : les équipes qui souhaitent une couche de routage légère et auto-hébergée. Attention : vérifiez quelles fonctionnalités de gouvernance sont disponibles dans la version ouverte avant de l’adopter comme standard.
3. Envoy AI Gateway — la norme ouverte soutenue par la CNCF
Envoy AI Gateway étend le projet Envoy Gateway de la CNCF en y intégrant une prise en charge native du trafic IA, et a atteint une version stable 1.0 en 2026. Créé et maintenu par Tetrate en collaboration avec Bloomberg, il s'agit de la première passerelle IA open source soutenue par la CNCF, ce qui est important si vous vous souciez d'une gouvernance neutre vis-à-vis des fournisseurs et d'un projet qui n'est pas contrôlé par un seul fournisseur commercial.
Il offre une interface compatible avec OpenAI pour les principaux fournisseurs de modèles, ainsi que des fonctionnalités de routage, de basculement et de traçage OpenTelemetry GenAI pour les conversations, les données embarquées et autres points de terminaison. Bloomberg l'utilise déjà en production. En contrepartie, il s'agit d'un logiciel d'infrastructure : puissant et conforme aux standards, il requiert une équipe maîtrisant Envoy et Kubernetes, et les fonctionnalités avancées nécessitent une automatisation plus poussée que sur une plateforme gérée.
Idéal pour : les équipes de plateforme qui souhaitent une passerelle basée sur Envoy et conforme aux normes CNCF, dont elles ont l’entière maîtrise. Attention : prévoyez un budget pour l’expertise opérationnelle requise par Envoy et Kubernetes.
4. Higress — une passerelle open source à grande échelle, native de l'IA
Higress, initialement développé au sein d'Alibaba, est désormais open source sous licence Apache-2.0 et repose sur Istio et Envoy. Sa fiabilité a été éprouvée à grande échelle, avec une validation en production gérant des centaines de milliers de requêtes par seconde et des modifications de configuration effectives en quelques millisecondes, sans nécessiter de rechargement brutal.
Côté IA, il prend en charge les principaux fournisseurs de modèles, peut héberger des serveurs MCP via son système de plugins permettant aux agents d'appeler des outils, et offre une gestion unifiée des API LLM et MCP, ainsi qu'un WAF et diverses stratégies d'authentification. C'est un excellent choix si vos priorités sont la performance brute et un noyau à haut débit éprouvé. Comme pour d'autres projets axés sur l'infrastructure, la gouvernance et le développement du produit sont moins poussés que pour une plateforme d'entreprise dédiée, et la communauté peut être moins familière à certaines équipes occidentales.
Idéal pour : les équipes qui ont besoin d’une passerelle IA native, open source et à haut débit. Attention : vous devrez implémenter vous-même une grande partie de la couche de gouvernance.
5. Passerelle d'IA Gloo — Basée sur Envoy et native de Kubernetes
Gloo AI Gateway, développé par Solo.io, gère le trafic IA en s'appuyant sur une passerelle native Envoy et Kubernetes éprouvée. Il répond aux besoins spécifiques du trafic LLM : mise en cache sémantique, limitation de débit par jeton, enrichissement des prompts, injection d'identifiants via les secrets Kubernetes et protection contre l'exfiltration de données afin d'empêcher toute fuite d'informations sensibles. Solo.io a fait don de sa passerelle open source à la CNCF (sous le nom de kgateway), garantissant ainsi un noyau véritablement ouvert.
Cette nuance reflète la tendance observée dans cette liste : certaines fonctionnalités spécifiques à LLM, comme la limitation de débit par jeton, font généralement partie de la licence Entreprise et non de la version gratuite. Si vous utilisez déjà Kubernetes et souhaitez une passerelle basée sur Envoy qui gère le trafic IA de manière optimale, cette solution est parfaitement adaptée, à condition d'associer les fonctionnalités dont vous avez besoin au niveau approprié.
Idéal pour : les équipes utilisant intensivement Kubernetes et souhaitant une passerelle basée sur Envoy avec des fonctionnalités de gestion du trafic par IA. Attention : vérifiez quelles fonctionnalités LLM nécessitent l’édition Entreprise.
Comment choisir
Si vous souhaitez un projet open source pur à gérer vous-même, Envoy AI Gateway et Higress offrent des cœurs hautes performances conformes aux standards, et Gloo est un excellent choix si vous utilisez déjà Envoy sur Kubernetes. Portkey est la solution la plus légère pour auto-héberger une couche de routage, à condition d'accepter les limites de niveau. Enfin, si vous avez besoin de données hébergées dans votre propre cloud avec une gouvernance et un support d'entreprise complets, TrueFoundry est l'option idéale : elle vous offre cette architecture auto-hébergée sans vous demander de développer vous-même l'infrastructure de gouvernance.
En résumé
Auparavant, héberger soi-même une passerelle d'IA impliquait de sacrifier certaines fonctionnalités au profit du contrôle. En 2026, ce n'est plus le cas : vous pouvez opter pour un standard ouvert soutenu par la CNCF, un noyau natif d'IA à haut débit ou une plateforme d'entreprise entièrement gouvernée, exécutée au sein de votre propre environnement. Le choix idéal dépend de votre niveau d'autonomie souhaité par rapport au niveau de gouvernance souhaité dès la mise en service. Pour les équipes qui recherchent à la fois contrôle et fonctionnalités avancées, TrueFoundry est la solution de référence.
