對於許多團隊來說，關於人工智慧網關，首先要問的不是“它能做什麼”，而是“它在哪裡運行”。如果你身處受監管的行業，處理敏感數據，或者只是不想讓所有請求和回應都透過別人的雲端平台發送，那麼無論託管的SaaS網關多麼完善，它都不可行。你需要的是能夠在你自己的基礎架構中運作、進行檢查和控制的方案。
好消息是，開源和自架的AI網關市場已經發展得非常強勁。 AI網關是應用程式和模型供應商之間的控制平台，它集中處理路由、可靠性、安全性和成本，現在一些最好的AI網關都以軟體的形式提供，您可以自行託管。如果您需要自架，那麼以下五個網關值得您優先考慮。
「自託管」的真正意義應該是什麼？
在列出清單之前，先簡單提一下陷阱。 「開源」和「可自架」並非同一概念，兩者都不能保證免費版本包含您所需的功能。有些專案開源了快速路由核心，但將治理、可觀測性儲存和多團隊存取控制等功能保留在付費版本中。因此，您需要分別評估以下三點：軟體是否能在您自己的環境中運作；您需要的特定功能是否包含在可自架的版本中；以及資料是否真正端到端地保留在您的基礎架構中。基於以上考慮，以下是這五款軟體的比較。
1. TrueFoundry — 您可在自有雲端上運作的企業控制平台
TrueFoundry之所以位列榜首，是因為它正是為了應對促使團隊選擇自託管的挑戰而打造的：在不犧牲企業級功能的前提下，將資料保留在您自己的環境中。其AI網關部署在您自己的雲端或VPC中，因此提示和追蹤資料可以按區域保留在您的基礎設施中，同時仍為您提供一個與OpenAI相容的單一接口，可存取1,000多個模型、負載均衡和回退機制、完整的安全防護套件、基於角色的存取控制、預算管理以及OpenTelemetry可觀測性。
它的功能遠不止於簡單的代理。 TrueFoundry 透過相同控制平面管理 MCP 伺服器和代理，其代理框架 TrueForge 是開源且製造商中立的，因此您可以輕鬆檢查和擴展所需的元件，而平臺本身則可以在您需要的任何位置運行。對於那些既想要開源專案的自託管特性，又想要企業級平台的深度和支援的團隊來說，這種組合在其他地方很難找到。例如，FloQast 完全在其自有雲環境中運行，以確保財務資料在美國、歐盟和亞太地區都能穩定存儲，您可以在 TrueFoundry的 AI Gateway 文件和案例研究中了解更多資訊。
最適合：需要資料駐留和全面管控，同時又希望自行運作網關的企業。注意：這是一個功能強大的平台，因此需要製定周密的部署計劃，而不是指望五分鐘就能完成安裝。
2. Portkey－一個快速、流行的開源路由核心
Portkey 以 MIT 授權開源了其網關，其核心功能堪稱卓越：輕量級、延遲極低、可路由至包含整合防護機制的大型模型庫，並且易於作為容器自行運作。如果您想要一個經過驗證的開源代理來建立應用，Portkey 無疑是最受歡迎的起點之一。
需要注意的是，免費版和付費版之間的界線在哪裡。自託管版本提供路由和可靠性層，但可觀測性儲存和儀錶板、基於角色的多團隊存取控制、大規模語義快取以及企業級支援等功能則需要託管或企業級方案。因此，自託管版本作為路由器功能表現良好；而完整的治理堆疊通常需要付費方案。
最適合：需要精簡、自架路由層的團隊。注意：在將其標準化之前，請確認開源版本中包含哪些治理功能。
3. Envoy AI 網關－由 CNCF 支持的開放標準
Envoy AI Gateway 擴展了 CNCF 的 Envoy Gateway 項目，使其原生支援 AI 流量，並於 2026 年達到了穩定的 1.0 版本。它由 Tetrate 與 Bloomberg 共同創建和維護，是第一個由 CNCF 支援的開源 AI 網關，如果您關心廠商中立的治理以及不受單一商業廠商控制的項目，這一點就非常重要。
它提供與主流模型提供者相容的 OpenAI 接口，並支援跨聊天、嵌入和其他端點的路由、故障轉移和 OpenTelemetry GenAI 追蹤。彭博社已在生產環境中運行該軟體。其缺點在於，它是一款基礎設施級軟體：功能強大且符合標準，但需要團隊成員熟悉 Envoy 和 Kubernetes 的操作，並且一些高級功能需要自行配置，而託管平台則無法提供這些功能。
最適合：希望擁有完全可控的、符合 CNCF 標準的、基於 Envoy 的網關的平台團隊。注意：需預留預算以應對 Envoy 和 Kubernetes 所需的維運專業知識。
4. Higress－一個高擴展性的、原生支援人工智慧的開源網關
Higress 起源於阿里巴巴內部，採用 Apache 2.0 開源協議，並基於 Istio 和 Envoy 建置。它經過大規模實戰檢驗，生產環境驗證能夠處理每秒數十萬個請求，並且配置更改可在毫秒內生效，無需強制重新加載，從而確保系統穩定運行。
在人工智慧方面，它支援主流模型供應商，可透過插件機制託管 MCP 伺服器，使代理程式能夠呼叫工具，並為 LLM 和 MCP API 提供統一管理，同時也支援 WAF 和一系列驗證策略。如果您優先考慮原始效能和經過驗證的高吞吐量核心，那麼它是一個絕佳的選擇。與其他基礎設施優先的項目一樣，其更高層級的治理和產品完善程度不如專用企業平台，而且其社區中心對於一些西方團隊來說可能不太熟悉。
最適合：需要高吞吐量、完全開源的原生 AI 網關的團隊。注意：您需要自行建立更多治理層。
5. Gloo AI 閘道 — 基於 Envoy 且原生於 Kubernetes
Solo.io 的 Gloo AI Gateway 是基於成熟的 Envoy 和 Kubernetes 原生網關建構 AI 流量管理功能。它針對 LLM 流量的特定需求，提供語義快取、基於令牌的速率限制、提示資訊增強、透過 Kubernetes Secrets 注入憑證以及資料防外洩保護，防止敏感資訊外洩。 Solo.io 已將其開源網關（名為 kgateway）捐贈給 CNCF，因此擁有真正的開源核心。
這種細微差別與清單中的模式相呼應：一些LLM特有的功能，例如基於令牌的速率限制，通常包含在企業版許可證中，而不是免費核心版中。如果您已經在運行Kubernetes，並且想要一個基於Envoy的網關，能夠將AI流量視為一等公民，那麼只要您將所需功能對應到正確的層級，它就非常適合您。
最適合：需要基於 Envoy 且具備 AI 流量功能的網關，且大量使用 Kubernetes 的團隊。注意：請確認哪些 LLM 功能需要企業版。
如何選擇
如果您想要一個完全開源的項目，並希望自行運行和運維，Envoy AI Gateway 和 Higress 可以提供符合標準的高效能核心；如果您已經決定在 Kubernetes 上使用 Envoy，那麼 Gloo 是一個不錯的選擇。 Portkey 是自架路由層最輕量級的方案，前提是您接受其層級邊界。如果您真正需要的是將資料保留在您自己的雲端，並擁有完整的企業級治理和支持，那麼 TrueFoundry 可以讓您實現自託管，而無需自行建立治理堆疊。
結語
過去，自架 AI 閘道意味著要犧牲一些功能來換取控制權。但到了 2026 年，情況已截然不同：您可以選擇 CNCF 支援的開放標準、高吞吐量的原生 AI 內核，或者運行在您自己的環境中的完全受控的企業級平台。最終的選擇取決於您希望自主運作多少，以及您希望開箱即用的治理功能有多強大。對於既想要控制權又想要深度功能的團隊來說，TrueFoundry 是最佳選擇。
