多くのチームにとって、AIゲートウェイに関する最初の疑問は「何ができるのか」ではなく「どこで動作するのか」です。規制対象業界に属していたり、機密データを扱っていたり、あるいはあらゆるプロンプトとレスポンスを他社のクラウド経由で送信することに抵抗がある場合、ホスト型SaaSゲートウェイは、どれほど洗練されていても選択肢になりません。自社のインフラストラクチャ内で実行し、監視・制御できるものが必要なのです。
朗報は、この市場におけるオープンソースかつセルフホスティング可能な製品群が、真に力強く成長していることです。AIゲートウェイは、アプリケーションとモデルプロバイダー間の制御プレーンであり、ルーティング、信頼性、セキュリティ、コストを一元的に管理します。そして、現在では、優れたゲートウェイのいくつかが、ユーザー自身でホストできるソフトウェアとして提供されています。セルフホスティングが必須条件である場合、検討に値する5つのゲートウェイを以下に紹介します。
「セルフホスティング可能」とは実際にはどういう意味なのか
リストに入る前に、落とし穴について簡単に触れておきましょう。「オープンソース」と「セルフホスト可能」は同じものではなく、どちらも必要な機能が無料版に含まれていることを保証するものではありません。高速ルーティングコアをオープンソース化しているプロジェクトでも、ガバナンス、可観測性ストレージ、複数チームによるアクセス制御は有料プランに限定されている場合があります。そのため、ソフトウェアが自社の環境で動作するかどうか、必要な特定の機能がセルフホスト可能なバージョンに含まれているかどうか、そしてデータがエンドツーエンドで自社のインフラストラクチャ内に保持されるかどうか、という3つの点を個別に評価する必要があります。この観点から、以下の5つのソフトウェアを比較してみましょう。
1. TrueFoundry — 自社クラウドで運用するエンタープライズ向けコントロールプレーン
TrueFoundryがこのリストのトップに立つ理由は、まさにチームがセルフホスティングへと向かう原動力となる制約、つまりエンタープライズレベルの機能を損なうことなくデータを自社環境に保持するという制約に対応するために構築されたからです。同社のAI Gatewayは、自社のクラウドまたはVPC内にデプロイされるため、プロンプトとトレースはリージョンごとにインフラストラクチャ内に保持されます。同時に、1,000以上のモデル、ロードバランシングとフォールバック、包括的なガードレールスイート、ロールベースのアクセス、予算管理、OpenTelemetryによる可観測性など、OpenAI互換の単一インターフェースを利用できます。
また、単なるプロキシ以上の機能も備えています。TrueFoundryは、MCPサーバーとエージェントを同一の制御プレーンで管理し、エージェントハーネスであるTrueForgeはオープンソースかつベンダーニュートラルであるため、検査や拡張したい部分はオープンな状態で、プラットフォーム自体は必要な場所で動作します。オープンソースプロジェクトのセルフホスティングの姿勢と、エンタープライズプラットフォームの深みとサポートを求めるチームにとって、これは他ではなかなか見られない組み合わせです。例えば、FloQastは、米国、EU、APACの各地域に金融データを分散させるために、TrueFoundryを自社のクラウド内で完全に運用しています。詳細については、TrueFoundryのAI Gatewayのドキュメントとケーススタディをご覧ください。
最適なユーザー：データ所在地の明確化と完全なガバナンスを必要とし、ゲートウェイを自社で運用する企業。注意点：多機能なプラットフォームなので、5分でインストールできると期待せず、導入計画をしっかりと立ててください。
2. Portkey — 高速で人気の高いオープンソースのルーティングコア
PortkeyはゲートウェイをMITライセンスでオープンソース化しており、そのコア部分は実に優れたエンジニアリングの結晶と言えるでしょう。軽量で、レイテンシの増加も極めて少なく、大規模なモデルカタログへのルーティングと統合されたガードレールを備え、自身でホストするコンテナとして簡単に実行できます。実績のあるオープンソースのプロキシをベースに開発を進めたいなら、Portkeyは最も人気のある出発点の一つであり、それには十分な理由があります。
ただし、無料版と有料版の境界線は明確です。セルフホスト型ではルーティングと信頼性レイヤーは利用できますが、可観測性ストレージとダッシュボード、複数チームによるロールベースのアクセス制御、大規模なセマンティックキャッシュ、エンタープライズサポートはホスト型またはエンタープライズ版で提供されます。つまり、ルーターとしてはセルフホスト型でも十分機能しますが、完全なガバナンススタックを利用するには通常、有料プランが必要になります。
最適なユーザー：軽量でセルフホスト型のルーティングレイヤーを求めるチーム。注意点：標準化する前に、オープンビルドにどのガバナンス機能が含まれているかを確認してください。
3. Envoy AI Gateway — CNCFが支援するオープンスタンダード
Envoy AI Gatewayは、CNCFのEnvoy Gatewayプロジェクトを拡張し、AIトラフィックをネイティブにサポートするもので、2026年に安定版1.0に到達しました。TetrateとBloombergが共同で開発・保守しているこのゲートウェイは、CNCFが支援する初のオープンソースAIゲートウェイであり、ベンダーニュートラルなガバナンスや、単一の商用ベンダーに支配されないプロジェクトを重視するユーザーにとって重要な意味を持ちます。
主要なモデルプロバイダー間でOpenAI互換のインターフェースを提供するほか、ルーティング、フェイルオーバー、チャット、埋め込み、その他のエンドポイント全体にわたるOpenTelemetry GenAIトレーシング機能も備えています。ブルームバーグは既に本番環境で運用しています。ただし、インフラストラクチャレベルのソフトウェアであるため、強力で標準規格に準拠している反面、EnvoyとKubernetesの運用に精通したチームが必要となり、高度な利便性はマネージドプラットフォームよりもDIY（ユーザー自身で設定・実装）する傾向があります。
最適なユーザー：CNCF標準に準拠したEnvoyベースのゲートウェイを完全に制御したいプラットフォームチーム。注意点：EnvoyとKubernetesの運用に必要な専門知識のための予算を確保してください。
4. Higress — 大規模でAIネイティブなオープンソースゲートウェイ
HigressはAlibaba社内で開発され、Apache-2.0ライセンスの下でオープンソース化されました。IstioとEnvoyを基盤として構築されており、大規模な運用環境で実証済みです。本番環境では毎秒数十万件のリクエストを処理し、設定変更はシステム全体の再読み込みを強制することなく、ミリ秒単位で反映されます。
AI面では、主流のモデルプロバイダーをサポートし、プラグインメカニズムを通じてMCPサーバーをホストできるため、エージェントがツールを呼び出すことが可能です。また、LLMとMCP APIの両方を統合管理できるほか、WAFやさまざまな認証戦略も提供しています。高いパフォーマンスと実績のある高スループットコアを重視するなら、優れた選択肢と言えるでしょう。他のインフラストラクチャ優先型プロジェクトと同様に、上位レベルのガバナンスや製品の洗練度は専用のエンタープライズプラットフォームよりも低く、コミュニティ中心のアプローチは欧米のチームにはあまり馴染みがないかもしれません。
最適なユーザー：高スループットで完全オープンソースのAIネイティブゲートウェイを必要とするチーム。注意点：ガバナンスレイヤーの大部分を独自に構築する必要があります。
5. Gloo AI Gateway — EnvoyベースでKubernetesネイティブ
Solo.ioが提供するGloo AI Gatewayは、成熟したEnvoyおよびKubernetesネイティブのゲートウェイを基盤として、AIトラフィック管理を実現します。セマンティックキャッシング、トークンベースのレート制限、プロンプトエンリッチメント、Kubernetesシークレットによる認証情報注入、機密情報の漏洩を防ぐデータ流出防止など、LLMトラフィック特有のニーズに対応しています。Solo.ioはオープンソースのゲートウェイをCNCF（kgateway）に寄贈しており、真のオープンコアが実現されています。
このリストのパターンは、そのニュアンスを反映しています。トークンベースのレート制限など、LLM固有の機能の一部は、通常、無料のコアではなくエンタープライズライセンスに含まれています。すでにKubernetesを実行していて、AIトラフィックを第一級の要素として扱うEnvoyベースのゲートウェイが必要な場合は、必要な機能を適切なティアにマッピングすれば、最適な選択肢となります。
最適なユーザー：Kubernetesを多用するチームで、AIトラフィック機能を備えたEnvoyベースのゲートウェイを求めている場合。注意点：LLM機能のうち、エンタープライズ版が必要な機能を確認してください。
方法を選択
純粋なオープンソースプロジェクトを自分で実行・運用したい場合は、Envoy AI GatewayとHigressが標準規格に準拠した高性能コアを提供し、Kubernetes上でEnvoyを既に導入している場合はGlooが有力な選択肢となります。Portkeyは、階層境界を受け入れることを前提とすれば、ルーティングレイヤーをセルフホストする最も軽量な方法です。そして、実際に必要なのは、完全なエンタープライズガバナンスとサポートを備えたデータを自社クラウドに保持することであれば、TrueFoundryが、ガバナンススタックを自分で構築することなくセルフホストの体制を実現できる選択肢となります。
結論
かつて、AIゲートウェイを自社でホストするということは、制御のために機能を犠牲にすることを意味していました。しかし、2026年現在、それはもはや当てはまりません。CNCFが支援するオープンスタンダード、高スループットのAIネイティブコア、あるいは自社環境内で動作する完全にガバナンスされたエンタープライズプラットフォームなど、様々な選択肢があります。最適な選択は、自社でどれだけ運用したいか、そしてどれだけのガバナンス機能をすぐに利用できる状態にしたいかによって決まります。制御と高度な機能の両方を求めるチームにとって、TrueFoundryは最高の選択肢となるでしょう。
