많은 팀에게 있어 AI 게이트웨이에 대한 첫 번째 질문은 "무엇을 할 수 있는가?"가 아니라 "어디에서 실행되는가?"입니다. 규제가 엄격한 산업에 속해 있거나, 민감한 데이터를 다루거나, 또는 단순히 모든 메시지와 응답을 타인의 클라우드를 통해 전송하는 것을 꺼리는 경우라면, 아무리 훌륭한 호스팅 SaaS 게이트웨이라도 고려 대상이 아닙니다. 자체 인프라 내에서 실행하고, 검사하고, 제어할 수 있는 솔루션이 필요합니다.
다행히 오픈소스 및 자체 호스팅 가능 솔루션 시장이 상당히 강세를 보이고 있습니다. AI 게이트웨이는 애플리케이션과 모델 제공업체 사이의 제어 평면 역할을 하며, 라우팅, 안정성, 보안 및 비용을 한 곳에서 관리합니다. 현재 최고의 게이트웨이 중 상당수는 자체 호스팅이 가능한 소프트웨어 형태로 제공됩니다. 자체 호스팅이 필수 조건인 경우, 다음 다섯 가지 게이트웨이를 고려해 보세요.
"자체 호스팅 가능"이라는 말이 실제로 의미하는 바는 무엇일까요?
목록을 살펴보기 전에, 함정에 대해 간단히 말씀드리겠습니다. "오픈 소스"와 "자체 호스팅 가능"은 같은 의미가 아니며, 둘 다 필요한 기능이 무료 버전에 포함되어 있다는 보장은 없습니다. 일부 프로젝트는 고속 라우팅 코어는 오픈 소스로 공개하지만, 거버넌스, 관찰 가능성 스토리지, 다중 팀 액세스 제어 기능은 유료 버전으로 제공하는 경우가 있습니다. 따라서 다음 세 가지 사항을 개별적으로 평가해야 합니다. 소프트웨어가 자체 환경에서 실행되는지, 필요한 특정 기능이 자체 호스팅 가능한 버전에 포함되어 있는지, 그리고 데이터가 실제로 처음부터 끝까지 자체 인프라에 보관되는지 여부입니다. 이러한 관점에서 다음 다섯 가지를 비교해 보겠습니다.
1. TrueFoundry — 자체 클라우드에서 실행하는 엔터프라이즈 컨트롤 플레인
TrueFoundry는 자체 호스팅을 고려하는 팀의 주요 제약 조건, 즉 엔터프라이즈급 기능을 포기하지 않고 데이터를 자체 환경에 유지하는 문제를 해결하기 위해 설계되었기 때문에 이 목록에서 1위를 차지합니다. TrueFoundry의 AI 게이트웨이 는 자체 클라우드 또는 VPC 내에 배포되므로 프롬프트와 추적 데이터가 각 리전별로 인프라에 유지됩니다. 또한 1,000개 이상의 모델에 대한 단일 OpenAI 호환 인터페이스, 로드 밸런싱 및 폴백, 완벽한 가드레일 제품군, 역할 기반 액세스, 예산 관리, OpenTelemetry 관찰 기능을 제공합니다.
TrueFoundry는 단순한 프록시 이상의 기능을 제공합니다. TrueFoundry는 동일한 컨트롤 플레인을 통해 MCP 서버와 에이전트를 관리하며, 에이전트 하네스인 TrueForge는 오픈 소스이며 벤더에 구애받지 않습니다. 따라서 검토 및 확장이 필요한 부분은 오픈 소스로 제공되며, 플랫폼 자체는 필요한 곳에서 실행할 수 있습니다. 오픈 소스 프로젝트의 자체 호스팅 방식과 엔터프라이즈 플랫폼의 심층적인 지원이 모두 필요한 팀에게 TrueFoundry는 다른 곳에서는 찾기 힘든 최적의 조합입니다. 예를 들어 FloQast는 미국, 유럽, 아시아 태평양 지역에 걸쳐 금융 데이터를 안전하게 보관하기 위해 자체 클라우드 환경에서 TrueFoundry를 완벽하게 운영하고 있으며, 이에 대한 자세한 내용은 TrueFoundry AI Gateway 문서 및 사례 연구에서 확인할 수 있습니다.
최적의 대상: 데이터 상주 및 완벽한 거버넌스가 필요하면서 게이트웨이를 직접 운영해야 하는 기업. 주의 사항: 기능이 풍부한 플랫폼이므로 5분 만에 설치할 수 있을 거라고 기대하기보다는 배포 계획을 세우는 것이 좋습니다.
2. Portkey — 빠르고 인기 있는 오픈 소스 라우팅 코어
Portkey는 게이트웨이를 MIT 라이선스로 오픈소스 공개했으며, 그 핵심은 정말 훌륭한 엔지니어링의 산물입니다. 가볍고, 추가 지연 시간이 매우 짧으며, 통합된 안전장치를 갖춘 대규모 모델 카탈로그로의 라우팅 기능을 제공하고, 직접 호스팅하는 컨테이너로 쉽게 실행할 수 있습니다. 검증된 오픈소스 프록시를 기반으로 구축하려는 경우, Portkey는 여러 가지 이유로 가장 인기 있는 시작점 중 하나입니다.
단, 무료와 유료의 경계가 어디에 있는지 명확히 구분해야 합니다. 자체 호스팅 빌드는 라우팅 및 안정성 계층을 제공하지만, 관찰 가능성 저장소 및 대시보드, 여러 팀의 역할 기반 액세스 제어, 대규모 시맨틱 캐싱, 엔터프라이즈 지원은 호스팅 또는 엔터프라이즈 등급에서 제공됩니다. 따라서 라우터로서 자체 호스팅은 잘 작동하지만, 완전한 거버넌스 스택을 사용하려면 일반적으로 유료 플랜을 선택해야 합니다.
최적의 대상: 간결하고 자체 호스팅 가능한 라우팅 레이어를 원하는 팀. 주의 사항: 표준으로 채택하기 전에 오픈 빌드에 어떤 거버넌스 기능이 포함되어 있는지 확인하십시오.
3. Envoy AI Gateway — CNCF가 지원하는 개방형 표준
Envoy AI Gateway는 CNCF의 Envoy Gateway 프로젝트에 AI 트래픽에 대한 네이티브 지원을 추가하여 확장한 것으로, 2026년에 안정적인 1.0 버전에 도달했습니다. Tetrate와 Bloomberg가 공동으로 개발 및 유지 관리하는 이 게이트웨이는 CNCF의 지원을 받는 최초의 오픈 소스 AI 게이트웨이입니다. 이는 벤더 중립적인 거버넌스와 특정 상용 벤더에 의해 좌우되지 않는 프로젝트를 중요하게 생각하는 사용자에게 중요한 의미를 갖습니다.
이 플랫폼은 주요 모델 제공업체 전반에 걸쳐 OpenAI 호환 인터페이스를 제공하며, 채팅, 임베딩 및 기타 엔드포인트 전반에 걸쳐 라우팅, 장애 조치, OpenTelemetry GenAI 추적 기능을 지원합니다. 블룸버그는 이미 이 플랫폼을 실제 운영 환경에서 사용하고 있습니다. 단점은 인프라급 소프트웨어라는 점입니다. 강력하고 표준을 준수하지만, Envoy 및 Kubernetes 운영에 익숙한 팀이 필요하며, 고급 편의 기능은 관리형 플랫폼보다는 자체적으로 구현해야 합니다.
최적 사용 대상: CNCF 표준을 준수하는 Envoy 기반 게이트웨이를 완벽하게 제어하고자 하는 플랫폼 팀. 주의 사항: Envoy 및 Kubernetes 운영에 필요한 전문 지식에 대한 예산 확보가 필수적입니다.
4. Higress — 확장성이 뛰어난 AI 기반 오픈 소스 게이트웨이
Higress는 Alibaba 내부에서 시작되었으며 Apache-2.0으로 오픈소스화되었고, Istio와 Envoy를 기반으로 구축되었습니다. 수십만 건의 초당 요청을 처리하는 대규모 환경에서 검증되었으며, 구성 변경 사항이 시스템을 중단시키는 재부팅 없이 밀리초 단위로 적용되도록 설계되었습니다.
AI 측면에서 이 플랫폼은 주요 모델 제공업체를 지원하고, 플러그인 메커니즘을 통해 MCP 서버를 호스팅하여 에이전트가 도구를 호출할 수 있도록 하며, LLM 및 MCP API에 대한 통합 관리 기능과 WAF, 다양한 인증 전략을 제공합니다. 탁월한 성능과 검증된 고처리량 코어가 최우선 순위라면 이 플랫폼은 훌륭한 선택입니다. 다른 인프라 우선 프로젝트와 마찬가지로, 상위 수준의 거버넌스와 제품 완성도는 전용 엔터프라이즈 플랫폼에 비해 다소 간소하며, 커뮤니티 중심의 구조가 서구권 팀에게는 다소 생소하게 느껴질 수 있습니다.
최적의 대상: 높은 처리량과 완전한 오픈 소스 AI 네이티브 게이트웨이가 필요한 팀. 주의 사항: 거버넌스 계층의 상당 부분을 직접 구축해야 합니다.
5. Gloo AI 게이트웨이 — Envoy 기반 및 Kubernetes 네이티브
Solo.io의 Gloo AI Gateway는 성숙한 Envoy 및 Kubernetes 네이티브 게이트웨이를 기반으로 AI 트래픽 관리를 제공합니다. 이 게이트웨이는 LLM(Long Life Cycle) 트래픽의 특정 요구 사항을 충족하도록 설계되었으며, 시맨틱 캐싱, 토큰 기반 속도 제한, 즉각적인 데이터 보강, Kubernetes 시크릿을 통한 자격 증명 주입, 그리고 민감한 정보 유출 방지 기능을 제공합니다. Solo.io는 자사의 오픈 소스 게이트웨이(kgateway라는 이름으로)를 CNCF에 기증했으므로, 진정한 오픈 코어를 사용할 수 있습니다.
이 목록의 패턴과 마찬가지로, LLM(Long-Term Management) 관련 기능 중 일부(예: 토큰 기반 속도 제한)는 일반적으로 무료 코어 라이선스가 아닌 엔터프라이즈 라이선스에 포함됩니다. 이미 Kubernetes를 운영 중이고 AI 트래픽을 최우선으로 처리하는 Envoy 기반 게이트웨이를 원하는 경우, 필요한 기능을 적절한 티어에 매핑하기만 하면 좋은 선택이 될 수 있습니다.
최적 사용 대상: AI 트래픽 기능을 갖춘 Envoy 기반 게이트웨이를 원하는 Kubernetes 중심 팀. 주의 사항: 일부 LLM 기능은 엔터프라이즈 에디션에서만 사용 가능한지 확인하세요.
방법을 선택하는 방법
직접 실행하고 운영할 순수 오픈 소스 프로젝트를 원한다면, Envoy AI Gateway와 Higress는 표준을 준수하는 고성능 코어를 제공하며, Kubernetes에서 Envoy를 이미 사용하고 있다면 Gloo가 좋은 선택입니다. Portkey는 계층 경계를 수용한다면 라우팅 계층을 자체 호스팅하는 가장 가벼운 방법입니다. 그리고 실제로 필요한 것이 기업 차원의 거버넌스와 지원을 제공하는 자체 클라우드에 데이터를 저장하는 것이라면, TrueFoundry는 거버넌스 스택을 직접 구축할 필요 없이 자체 호스팅 환경을 제공하는 옵션입니다.
결론
과거에는 AI 게이트웨이를 자체 호스팅한다는 것은 제어권을 위해 여러 기능을 포기해야 한다는 것을 의미했습니다. 하지만 2026년에는 더 이상 그렇지 않습니다. CNCF에서 지원하는 개방형 표준, 고성능 AI 네이티브 코어, 또는 자체 환경에서 실행되는 완벽한 관리형 엔터프라이즈 플랫폼을 선택할 수 있습니다. 어떤 솔루션을 선택할지는 자체 운영을 얼마나 원하는지, 그리고 기본적으로 제공되는 관리 기능을 얼마나 원하는지에 따라 달라집니다. 제어권과 심층적인 기능을 모두 원하는 팀에게는 TrueFoundry가 최적의 선택입니다.
