Für viele Teams lautet die erste Frage zu einem KI-Gateway nicht „Was kann es?“, sondern „Wo läuft es?“. Wenn Sie in einer regulierten Branche tätig sind, sensible Daten verarbeiten oder einfach nur ungern jede Anfrage und Antwort über die Cloud eines Drittanbieters senden, ist ein gehostetes SaaS-Gateway keine Option, egal wie ausgereift es auch sein mag. Sie benötigen eine Lösung, die Sie in Ihrer eigenen Infrastruktur betreiben, überprüfen und steuern können.
Die gute Nachricht: Der Markt für Open-Source- und selbstgehostete Lösungen hat sich deutlich verbessert. Ein KI-Gateway fungiert als Schnittstelle zwischen Ihren Anwendungen und Ihren Modellanbietern und übernimmt Routing, Zuverlässigkeit, Sicherheit und Kostenkontrolle zentral. Viele der besten Lösungen sind mittlerweile als Software zum Selbsthosting verfügbar. Fünf Gateways sollten Sie sich genauer ansehen, wenn Selbsthosting zwingend erforderlich ist.
Was „selbsthostbar“ tatsächlich bedeuten sollte
Bevor wir zur Liste kommen, noch ein kurzer Hinweis zur Falle: „Open Source“ und „selbsthostbar“ sind nicht dasselbe, und keines von beiden garantiert, dass die benötigten Funktionen in der kostenlosen Version enthalten sind. Manche Projekte stellen zwar einen schnellen Routing-Kern als Open Source zur Verfügung, behalten aber Governance, Observability-Speicherung und teamübergreifende Zugriffskontrolle in einer kostenpflichtigen Version bei. Prüfen Sie daher drei Aspekte separat: Läuft die Software in Ihrer eigenen Umgebung? Sind die benötigten Funktionen in der selbsthostbaren Version enthalten? Bleiben die Daten tatsächlich durchgehend in Ihrer Infrastruktur? Vor diesem Hintergrund vergleichen wir nun die fünf Lösungen.
1. TrueFoundry – die Unternehmenssteuerungsebene, die Sie in Ihrer eigenen Cloud betreiben
TrueFoundry führt diese Liste an, da es genau für die Anforderungen entwickelt wurde, die Teams zum Self-Hosting bewegen: Daten in der eigenen Umgebung zu speichern, ohne auf Enterprise-Funktionen verzichten zu müssen. Das AI Gateway wird in Ihrer eigenen Cloud oder VPC bereitgestellt, sodass Eingabeaufforderungen und Traces regionsspezifisch in Ihrer Infrastruktur verbleiben. Gleichzeitig erhalten Sie eine einzige OpenAI-kompatible Schnittstelle für über 1,000 Modelle, Lastverteilung und Fallback-Funktionen, umfassende Sicherheitsvorkehrungen, rollenbasierte Zugriffskontrolle, Budgetverwaltung und OpenTelemetry-Überwachung.
Es geht weit über einen reinen Proxy hinaus. TrueFoundry steuert MCP-Server und -Agenten über dieselbe Steuerungsebene. Die Agentenplattform TrueForge ist Open Source und herstellerneutral, sodass die zu prüfenden und erweiterbaren Komponenten frei zugänglich sind, während die Plattform selbst dort läuft, wo Sie sie benötigen. Für Teams, die die Vorteile eines Open-Source-Projekts mit der Tiefe und dem Support einer Enterprise-Plattform kombinieren möchten, ist dies eine einzigartige Lösung. FloQast beispielsweise betreibt die Plattform vollständig in der eigenen Cloud, um Finanzdaten in den USA, der EU und im asiatisch-pazifischen Raum zu speichern. Weitere Informationen finden Sie in der Dokumentation und den Fallstudien zum TrueFoundry AI Gateway .
Ideal für: Unternehmen, die Datenresidenz und umfassende Governance benötigen und das Gateway selbst betreiben möchten. Achtung: Es handelt sich um eine komplexe Plattform. Planen Sie die Einführung daher sorgfältig und rechnen Sie nicht mit einer fünfminütigen Installation.
2. Portkey – ein schneller, beliebter Open-Source-Routing-Core
Portkey hat sein Gateway unter der MIT-Lizenz als Open Source veröffentlicht, und der Kern ist wirklich gut gemacht: ressourcenschonend, mit sehr geringer Latenz, Routing zu einem großen Modellkatalog mit integrierten Schutzmechanismen und einfach als selbst gehosteter Container auszuführen. Wenn Sie einen bewährten Open-Source-Proxy als Basis suchen, ist Portkey aus gutem Grund einer der beliebtesten Ausgangspunkte.
Der Haken an der Sache ist, wo die Grenze zwischen kostenloser und kostenpflichtiger Lösung verläuft. Die selbstgehostete Version bietet die Routing- und Zuverlässigkeitsschicht, aber die Observability-Speicherung und Dashboards, der rollenbasierte Zugriff für mehrere Teams, semantisches Caching in großem Umfang und der Enterprise-Support sind in der gehosteten oder Enterprise-Version enthalten. Als Router eignet sich die selbstgehostete Version also gut; ein vollständiger Governance-Stack erfordert in der Regel den kostenpflichtigen Plan.
Ideal für: Teams, die eine schlanke, selbstgehostete Routing-Schicht benötigen. Achtung: Prüfen Sie, welche Governance-Funktionen in der Open-Source-Version enthalten sind, bevor Sie diese standardisieren.
3. Envoy AI Gateway – der von der CNCF unterstützte offene Standard
Envoy AI Gateway erweitert das Envoy Gateway-Projekt der CNCF um native Unterstützung für KI-Datenverkehr und erreichte 2026 eine stabile Version 1.0. Es wurde von Tetrate zusammen mit Bloomberg entwickelt und wird von ihnen betreut. Es ist das erste von der CNCF unterstützte Open-Source-KI-Gateway, was wichtig ist, wenn Sie Wert auf herstellerneutrale Governance und ein Projekt legen, das nicht von einem einzelnen kommerziellen Anbieter kontrolliert wird.
Es bietet eine OpenAI-kompatible Schnittstelle für die wichtigsten Modellanbieter sowie Routing, Failover und OpenTelemetry GenAI-Tracing für Chat, Einbettungen und andere Endpunkte. Bloomberg setzt es bereits produktiv ein. Der Nachteil: Es handelt sich um eine leistungsstarke und standardkonforme Infrastruktursoftware, die jedoch ein Team voraussetzt, das mit Envoy und Kubernetes vertraut ist. Erweiterte Funktionen müssen zudem eher selbst konfiguriert werden als auf einer Managed-Plattform.
Ideal für: Plattformteams, die ein CNCF-konformes, Envoy-basiertes Gateway benötigen, das sie vollständig kontrollieren. Achtung: Planen Sie Budget für die operative Expertise ein, die Envoy und Kubernetes erfordern.
4. Higress – ein hochskalierbares, KI-natives Open-Source-Gateway
Higress entstand innerhalb von Alibaba, wurde unter der Apache-2.0-Lizenz als Open Source veröffentlicht und basiert auf Istio und Envoy. Es hat sich im großen Maßstab bewährt und verarbeitet in der Produktion Hunderttausende von Anfragen pro Sekunde. Konfigurationsänderungen werden innerhalb von Millisekunden wirksam, anstatt störende Neuladevorgänge zu erzwingen.
Im KI-Bereich unterstützt es gängige Modellanbieter, kann MCP-Server über seinen Plugin-Mechanismus hosten, sodass Agenten Tools aufrufen können, und bietet einheitliches Management für LLM- und MCP-APIs sowie WAF und verschiedene Authentifizierungsstrategien. Es ist eine ausgezeichnete Wahl, wenn hohe Leistung und ein bewährter High-Throughput-Kern Ihre Prioritäten sind. Wie bei anderen Infrastruktur-orientierten Projekten sind die übergeordnete Governance und die Produktqualität weniger streng als bei einer dedizierten Unternehmensplattform, und der Schwerpunkt der Community ist einigen westlichen Teams möglicherweise weniger vertraut.
Ideal für: Teams, die ein leistungsstarkes, vollständig quelloffenes KI-basiertes Gateway benötigen. Achtung: Sie werden einen größeren Teil der Governance-Ebene selbst zusammenstellen müssen.
5. Gloo AI Gateway – Envoy-basiert und Kubernetes-nativ
Gloo AI Gateway von Solo.io baut auf einem ausgereiften Envoy- und Kubernetes-nativen Gateway auf und bietet KI-gestütztes Traffic-Management. Es ist speziell auf die Anforderungen von LLM-Traffic zugeschnitten: semantisches Caching, tokenbasierte Ratenbegrenzung, schnelle Anreicherung, Credential Injection über Kubernetes Secrets und Schutz vor Datenexfiltration, um das Auslaufen sensibler Informationen zu verhindern. Solo.io hat sein Open-Source-Gateway der CNCF (als kgateway) zur Verfügung gestellt, sodass ein vollständig offener Kern vorhanden ist.
Die Nuance spiegelt das Muster in dieser Liste wider: Einige der LLM-spezifischen Funktionen, wie beispielsweise tokenbasierte Ratenbegrenzung, sind typischerweise Teil der Enterprise-Lizenz und nicht der kostenlosen Kernversion. Wenn Sie bereits Kubernetes einsetzen und ein Envoy-basiertes Gateway benötigen, das KI-Datenverkehr gleichberechtigt behandelt, ist es eine gute Wahl, sofern Sie die benötigten Funktionen der richtigen Lizenzstufe zuordnen.
Ideal für: Teams mit hohem Kubernetes-Anteil, die ein Envoy-basiertes Gateway mit KI-gestützten Traffic-Funktionen benötigen. Achtung: Prüfen Sie, welche LLM-Funktionen die Enterprise Edition erfordern.
So wählen Sie
Wenn Sie ein reines Open-Source-Projekt zum Selbstbetrieb suchen, bieten Envoy AI Gateway und Higress standardkonforme, leistungsstarke Kerne. Gloo ist eine gute Wahl, wenn Sie bereits Envoy auf Kubernetes einsetzen. Portkey ist die schlankste Möglichkeit, eine Routing-Schicht selbst zu hosten, sofern Sie die Tier-Grenzen akzeptieren. Und wenn Sie Daten in Ihrer eigenen Cloud mit umfassender Enterprise-Governance und -Support benötigen, ist True Foundry die Option, die Ihnen die gewünschte Selbsthosting-Lösung bietet, ohne dass Sie die Governance-Architektur selbst aufbauen müssen.
Unter dem Strich
Früher bedeutete das Selbsthosting eines KI-Gateways, auf Funktionen zugunsten der Kontrolle zu verzichten. 2026 ist das anders: Sie erhalten einen CNCF-gestützten offenen Standard, einen leistungsstarken, KI-nativen Kern oder eine vollständig verwaltete Unternehmensplattform, die in Ihrer eigenen Umgebung läuft. Die richtige Wahl hängt davon ab, wie viel Eigenverantwortung Sie übernehmen möchten und wie viel Governance Sie von Haus aus benötigen. Für Teams, die sowohl Kontrolle als auch umfassende Funktionalität wünschen, ist TrueFoundry die beste Lösung.
