对于很多团队来说，关于人工智能网关，首先要问的不是“它能做什么”，而是“它在哪里运行”。如果你身处受监管的行业，处理敏感数据，或者仅仅是不想让所有请求和响应都通过别人的云平台发送，那么无论托管的SaaS网关多么完善，它都不可行。你需要的是能够在你自己的基础架构中运行、进行检查和控制的方案。
好消息是，开源和自托管的AI网关市场已经发展得非常强劲。AI网关是应用程序和模型提供商之间的控制平台，它集中处理路由、可靠性、安全性和成本，而且现在一些最好的AI网关都以软件的形式提供，您可以自行托管。如果您需要自托管，那么以下五个网关值得您优先考虑。
“自托管”的真正含义应该是什么？
在列出列表之前，先简单提一下陷阱。“开源”和“可自托管”并非同一概念，两者都不能保证免费版本包含您所需的功能。有些项目开源了快速路由核心，但将治理、可观测性存储和多团队访问控制等功能保留在付费版本中。因此，您需要分别评估以下三点：软件是否能在您自己的环境中运行；您需要的特定功能是否包含在可自托管的版本中；以及数据是否真正端到端地保留在您的基础设施中。基于以上考虑，以下是这五款软件的比较。
1. TrueFoundry — 您可在自有云上运行的企业控制平台
TrueFoundry之所以位列榜首，是因为它正是为了应对促使团队选择自托管的挑战而打造的：在不牺牲企业级功能的前提下，将数据保留在您自己的环境中。其AI网关部署在您自己的云或VPC中，因此提示和跟踪数据可以按区域保留在您的基础设施中，同时仍然为您提供一个与OpenAI兼容的单一接口，可访问1,000多个模型、负载均衡和回退机制、完整的安全防护套件、基于角色的访问控制、预算管理以及OpenTelemetry可观测性。
它的功能远不止于简单的代理。TrueFoundry 通过同一控制平面管理 MCP 服务器和代理，其代理框架 TrueForge 是开源且厂商中立的，因此您可以轻松检查和扩展所需的组件，而平台本身则可以在您需要的任何位置运行。对于那些既想要开源项目的自托管特性，又想要企业级平台的深度和支持的团队来说，这种组合在其他地方很难找到。例如，FloQast 完全在其自有云环境中运行，以确保财务数据在美国、欧盟和亚太地区都能稳定存储，您可以在 TrueFoundry的 AI Gateway 文档和案例研究中了解更多信息。
最适合：需要数据驻留和全面管控，同时又希望自行运行网关的企业。注意：这是一个功能强大的平台，因此需要制定周密的部署计划，而不是指望五分钟就能完成安装。
2. Portkey——一个快速、流行的开源路由核心
Portkey 以 MIT 许可证开源了其网关，其核心功能堪称卓越：轻量级、延迟极低、可路由至包含集成防护机制的大型模型库，并且易于作为容器自行运行。如果您想要一个经过验证的开源代理来构建应用，Portkey 无疑是最受欢迎的起点之一。
需要注意的是，免费版和付费版之间的界限在哪里。自托管版本提供路由和可靠性层，但可观测性存储和仪表盘、基于角色的多团队访问控制、大规模语义缓存以及企业级支持等功能则需要托管或企业级方案。因此，自托管版本作为路由器功能表现良好；而完整的治理堆栈通常需要付费方案。
最适合：需要精简、自托管路由层的团队。注意：在将其标准化之前，请确认开源版本中包含哪些治理功能。
3. Envoy AI 网关——由 CNCF 支持的开放标准
Envoy AI Gateway 扩展了 CNCF 的 Envoy Gateway 项目，使其原生支持 AI 流量，并于 2026 年达到了稳定的 1.0 版本。它由 Tetrate 与 Bloomberg 共同创建和维护，是第一个由 CNCF 支持的开源 AI 网关，如果您关心厂商中立的治理以及不受单一商业厂商控制的项目，这一点就非常重要。
它提供与主流模型提供商兼容的 OpenAI 接口，并支持跨聊天、嵌入和其他端点的路由、故障转移和 OpenTelemetry GenAI 追踪。彭博社已在生产环境中运行该软件。其缺点在于，它是一款基础设施级软件：功能强大且符合标准，但需要团队成员熟悉 Envoy 和 Kubernetes 的操作，并且一些高级功能需要自行配置，而托管平台则无法提供这些功能。
最适合：希望拥有完全可控的、符合 CNCF 标准的、基于 Envoy 的网关的平台团队。注意：需预留预算以应对 Envoy 和 Kubernetes 所需的运维专业知识。
4. Higress——一个高扩展性的、原生支持人工智能的开源网关
Higress 起源于阿里巴巴内部，采用 Apache 2.0 开源协议，并基于 Istio 和 Envoy 构建。它经过大规模实战检验，生产环境验证能够处理每秒数十万个请求，并且配置更改可在毫秒内生效，无需强制重新加载，从而确保系统稳定运行。
在人工智能方面，它支持主流模型提供商，可通过插件机制托管 MCP 服务器，使代理能够调用工具，并为 LLM 和 MCP API 提供统一管理，同时还支持 WAF 和一系列身份验证策略。如果您优先考虑原始性能和经过验证的高吞吐量核心，那么它是一个绝佳的选择。与其他基础设施优先的项目一样，其更高级别的治理和产品完善程度不如专用企业平台，而且其社区中心对于一些西方团队来说可能不太熟悉。
最适合：需要高吞吐量、完全开源的原生 AI 网关的团队。注意：您需要自行构建更多治理层。
5. Gloo AI 网关 — 基于 Envoy 且原生于 Kubernetes
Solo.io 的 Gloo AI Gateway 基于成熟的 Envoy 和 Kubernetes 原生网关构建 AI 流量管理功能。它针对 LLM 流量的特定需求，提供语义缓存、基于令牌的速率限制、提示信息增强、通过 Kubernetes Secrets 注入凭证以及数据防泄露保护，防止敏感信息泄露。Solo.io 已将其开源网关（名为 kgateway）捐赠给 CNCF，因此拥有真正的开源核心。
这种细微差别与列表中的模式相呼应：一些LLM特有的功能，例如基于令牌的速率限制，通常包含在企业版许可证中，而不是免费核心版中。如果您已经在运行Kubernetes，并且想要一个基于Envoy的网关，能够将AI流量视为一等公民，那么只要您将所需功能映射到正确的层级，它就非常适合您。
最适合：需要基于 Envoy 且具备 AI 流量功能的网关，且大量使用 Kubernetes 的团队。注意：请确认哪些 LLM 功能需要企业版。
如何选择
如果您想要一个完全开源的项目，并希望自行运行和运维，Envoy AI Gateway 和 Higress 可以提供符合标准的高性能核心；如果您已经决定在 Kubernetes 上使用 Envoy，那么 Gloo 是一个不错的选择。Portkey 是自托管路由层的最轻量级方案，前提是您接受其层级边界。如果您真正需要的是将数据保留在您自己的云端，并拥有完整的企业级治理和支持，那么 TrueFoundry 可以让您实现自托管，而无需自行构建治理堆栈。
总结
过去，自托管 AI 网关意味着要牺牲一些功能来换取控制权。但到了 2026 年，情况已截然不同：您可以选择 CNCF 支持的开放标准、高吞吐量的原生 AI 内核，或者运行在您自己的环境中的完全受控的企业级平台。最终的选择取决于您希望自主运营多少，以及您希望开箱即用的治理功能有多强大。对于既想要控制权又想要深度功能的团队来说，TrueFoundry 是最佳之选。
