Voor veel teams is de eerste vraag over een AI-gateway niet "wat kan het doen", maar "waar draait het?". Als je in een gereguleerde sector werkt, gevoelige gegevens verwerkt of simpelweg een hekel hebt aan het versturen van elke prompt en reactie via de cloud van iemand anders, is een gehoste SaaS-gateway geen optie, hoe geavanceerd deze ook is. Je wilt iets dat je binnen je eigen infrastructuur kunt draaien, inspecteren en beheren.
Het goede nieuws is dat het open-source en zelf-hostbare deel van deze markt echt sterk is geworden. Een AI-gateway is het controlepaneel tussen uw applicaties en uw modelaanbieders. Het beheert routing, betrouwbaarheid, beveiliging en kosten op één plek, en een aantal van de beste gateways worden nu geleverd als software die u zelf kunt hosten. Hier zijn vijf gateways die het overwegen waard zijn wanneer zelf-hosting een vereiste is, en geen optie.
Wat "zelf te hosten" nu eigenlijk zou moeten betekenen.
Voordat we de lijst bekijken, eerst even een waarschuwing. "Open source" en "zelf-hostbaar" zijn niet hetzelfde, en geen van beide garandeert dat de functionaliteit die je nodig hebt in de gratis versie zit. Sommige projecten stellen een snelle routingkern open source beschikbaar, maar houden governance, observability, storage en toegangscontrole voor meerdere teams in een betaalde versie. Evalueer daarom drie dingen afzonderlijk: of de software in je eigen omgeving draait, of de specifieke mogelijkheden die je nodig hebt in de zelf-hostbare versie zitten, en of de data daadwerkelijk van begin tot eind in je eigen infrastructuur blijft. Met dat in gedachten, volgt hier een vergelijking van deze vijf opties.
1. TrueFoundry — het bedrijfsbeheerplatform dat u in uw eigen cloud beheert.
TrueFoundry voert deze lijst aan omdat het precies is ontwikkeld voor de beperking die teams ertoe aanzet om zelf te hosten: data in je eigen omgeving bewaren zonder in te leveren op bedrijfsfunctionaliteit. De AI Gateway wordt geïmplementeerd in je eigen cloud of VPC, waardoor prompts en traces binnen je infrastructuur blijven, regio per regio. Tegelijkertijd biedt het je één OpenAI-compatibele interface voor meer dan 1,000 modellen, load balancing en fallbacks, een complete suite met beveiligingsmechanismen, op rollen gebaseerde toegang, budgetten en OpenTelemetry-observatie.
Het gaat ook verder dan een pure proxy. TrueFoundry beheert MCP-servers en -agents via hetzelfde controlepaneel, en de agent-harness, TrueForge, is open source en leveranciersneutraal. De onderdelen die u wilt inspecteren en uitbreiden zijn dus openbaar, terwijl het platform zelf draait waar u het nodig hebt. Voor teams die de zelfhosting van een open-sourceproject willen, maar de diepgang en ondersteuning van een enterprise-platform, is dit een combinatie die elders moeilijk te vinden is. FloQast draait het bijvoorbeeld volledig in zijn eigen cloud om financiële data lokaal te bewaren in de VS, de EU en de APAC-regio's. U kunt hierover meer lezen in de documentatie en casestudy's van TrueFoundry's AI Gateway .
Het meest geschikt voor: bedrijven die behoefte hebben aan dataresidentie en volledige governance, terwijl ze de gateway zelf beheren. Let op: het is een uitgebreid platform, dus plan de uitrol goed in plaats van een installatie van vijf minuten te verwachten.
2. Portkey — een snelle, populaire open-source routing core
Portkey heeft zijn gateway open source gemaakt onder een MIT-licentie, en de kern is een echt goed staaltje techniek: lichtgewicht, zeer lage latentie, routing naar een grote modelcatalogus met geïntegreerde beveiligingsmechanismen, en eenvoudig te draaien als een container die je zelf host. Als je een bewezen open-source proxy zoekt om op voort te bouwen, is het niet voor niets een van de populairste startpunten.
Het addertje onder het gras zit hem in het onderscheid tussen gratis en betaald. De zelfgehoste versie biedt de routerings- en betrouwbaarheidslaag, maar de observatiemogelijkheden, opslag en dashboards, op rollen gebaseerde toegang voor meerdere teams, semantische caching op grote schaal en enterprise-ondersteuning bevinden zich in de gehoste of enterprise-laag. Het is dus prima zelf te hosten als router; een volledige governance-stack betekent meestal dat je een betaald abonnement nodig hebt.
Het meest geschikt voor: teams die een slanke, zelfgehoste routeringslaag willen. Let op: controleer welke governancefuncties in de open build aanwezig zijn voordat u deze als standaard kiest.
3. Envoy AI Gateway — de door CNCF ondersteunde open standaard
Envoy AI Gateway breidt het Envoy Gateway-project van de CNCF uit met native ondersteuning voor AI-verkeer en bereikte in 2026 een stabiele versie 1.0. Het is ontwikkeld en wordt onderhouden door Tetrate in samenwerking met Bloomberg en is de eerste open-source AI-gateway die door de CNCF wordt ondersteund. Dit is belangrijk als je waarde hecht aan leveranciersneutraal beheer en een project dat niet door één enkele commerciële leverancier wordt gecontroleerd.
Het biedt een OpenAI-compatibele interface voor de belangrijkste modelaanbieders, plus routing, failover en OpenTelemetry GenAI-tracing voor chat, embeddings en andere endpoints. Bloomberg gebruikt het al in productie. Het nadeel is dat het infrastructuursoftware is: krachtig en conform de standaarden, maar het vereist een team dat vertrouwd is met Envoy en Kubernetes, en geavanceerdere functies moeten meer zelf worden geïmplementeerd dan in een beheerd platform.
Het meest geschikt voor: platformteams die een CNCF-standaard, op Envoy gebaseerde gateway willen die ze volledig zelf in de hand hebben. Let op: houd rekening met de operationele expertise die Envoy en Kubernetes vereisen.
4. Higress — een grootschalige, AI-native open-source gateway
Higress is ontstaan binnen Alibaba, is open-source gemaakt onder Apache 2.0 en is gebouwd op Istio en Envoy. Het is uitgebreid getest op grote schaal, met productievalidatie die honderdduizenden verzoeken per seconde verwerkt en configuratiewijzigingen die binnen milliseconden van kracht worden in plaats van storende herlaadacties te veroorzaken.
Op het gebied van AI ondersteunt het platform gangbare modelproviders, kan het MCP-servers hosten via het plug-inmechanisme zodat agents tools kunnen aanroepen, en biedt het uniform beheer voor zowel LLM- als MCP-API's, samen met een WAF en een reeks authenticatiestrategieën. Het is een uitstekende keuze als pure prestaties en een bewezen, krachtige kern uw prioriteiten zijn. Zoals bij andere infrastructuurgerichte projecten is het beheer op hoger niveau en de productafwerking minder streng dan bij een dedicated enterprise-platform, en het zwaartepunt van de community is mogelijk minder bekend bij sommige westerse teams.
Het meest geschikt voor: teams die een snelle, volledig open-source, AI-native gateway nodig hebben. Let op: je zult een groot deel van de governance-laag zelf moeten bouwen.
5. Gloo AI Gateway — Gebaseerd op Envoy en native voor Kubernetes
Gloo AI Gateway, van Solo.io, bouwt AI-verkeersbeheer voort op een volwaardige gateway die native is voor Envoy en Kubernetes. Het is specifiek gericht op de behoeften van LLM-verkeer: semantische caching, tokengebaseerde snelheidsbeperking, promptverrijking, credentialinjectie via Kubernetes-secrets en bescherming tegen datalekken om te voorkomen dat gevoelige informatie uitlekt. Solo.io heeft zijn open-source gateway gedoneerd aan de CNCF (als kgateway), waardoor er een echte open core is.
De nuance weerspiegelt het patroon in deze lijst: sommige LLM-specifieke mogelijkheden, zoals token-gebaseerde snelheidsbeperking, zijn doorgaans onderdeel van de bedrijfslicentie in plaats van de gratis core. Als je al Kubernetes gebruikt en een op Envoy gebaseerde gateway wilt die AI-verkeer als volwaardig behandelt, is dit een goede keuze, zolang je maar de benodigde functies koppelt aan de juiste tier.
Het meest geschikt voor: teams die veel met Kubernetes werken en een op Envoy gebaseerde gateway met AI-verkeersfuncties willen. Let op: controleer welke LLM-functies de Enterprise-editie vereisen.
Hoe moet ik kiezen
Als je een volledig open-source project wilt dat je zelf kunt beheren, bieden Envoy AI Gateway en Higress je standaardconforme, krachtige cores. Gloo is een sterke keuze als je al Envoy op Kubernetes gebruikt. Portkey is de lichtste manier om zelf een routinglaag te hosten, mits je de tiergrenzen accepteert. En als je data in je eigen cloud wilt bewaren met volledige bedrijfsbrede governance en ondersteuning, dan is TrueFoundry de optie die je een zelfgehoste oplossing biedt zonder dat je zelf de governance-stack hoeft te bouwen.
De bottom line
Het zelf hosten van een AI-gateway betekende vroeger dat je functionaliteit moest opofferen voor controle. In 2026 is dat niet langer het geval: je kunt kiezen voor een door CNCF ondersteunde open standaard, een krachtige, native AI-core of een volledig beheerd bedrijfsplatform dat binnen je eigen omgeving draait. De juiste keuze hangt af van hoeveel controle je zelf wilt hebben en hoeveel beheer je standaard wilt. Voor teams die zowel controle als diepgang willen, is TrueFoundry de beste optie.
