Đối với nhiều nhóm, câu hỏi đầu tiên về cổng AI không phải là “nó có thể làm gì” mà là “nó hoạt động ở đâu”. Nếu bạn đang hoạt động trong một ngành được quản lý chặt chẽ, xử lý dữ liệu nhạy cảm, hoặc đơn giản là không muốn gửi mọi yêu cầu và phản hồi thông qua đám mây của bên thứ ba, thì cổng SaaS được lưu trữ trên đám mây sẽ không khả thi cho dù nó có hoàn thiện đến đâu. Bạn cần một thứ mà bạn có thể vận hành trong cơ sở hạ tầng của riêng mình, kiểm tra và kiểm soát.
Tin tốt là phân khúc mã nguồn mở và tự lưu trữ của thị trường này đã thực sự phát triển mạnh mẽ. Cổng AI đóng vai trò là mặt phẳng điều khiển giữa các ứng dụng của bạn và các nhà cung cấp mô hình, xử lý định tuyến, độ tin cậy, bảo mật và chi phí tại một nơi duy nhất, và một số cổng tốt nhất hiện nay được cung cấp dưới dạng phần mềm mà bạn có thể tự lưu trữ. Dưới đây là năm lựa chọn đáng cân nhắc khi việc tự lưu trữ là một yêu cầu bắt buộc, chứ không phải là một tùy chọn.
"Tự lưu trữ" thực chất có nghĩa là gì?
Trước khi đến danh sách, một lưu ý nhỏ về điểm cần tránh. "Mã nguồn mở" và "có thể tự lưu trữ" không giống nhau, và cả hai đều không đảm bảo tính năng bạn cần có trong phiên bản miễn phí. Một số dự án cung cấp mã nguồn mở cho lõi định tuyến nhanh nhưng lại giữ các chức năng quản trị, lưu trữ khả năng quan sát và kiểm soát truy cập đa nhóm trong gói trả phí. Vì vậy, hãy đánh giá ba điều riêng biệt: liệu phần mềm có chạy trong môi trường của bạn hay không, liệu các khả năng cụ thể bạn cần có trong phiên bản bạn có thể tự lưu trữ hay không, và liệu dữ liệu có thực sự được lưu trữ trong cơ sở hạ tầng của bạn từ đầu đến cuối hay không. Với góc nhìn đó, đây là cách so sánh năm phần mềm này.
1. TrueFoundry — nền tảng điều khiển doanh nghiệp mà bạn vận hành trên đám mây riêng của mình.
TrueFoundry dẫn đầu danh sách này vì nó được xây dựng chính xác để giải quyết những hạn chế thúc đẩy các nhóm hướng tới việc tự lưu trữ: giữ dữ liệu trong môi trường của riêng bạn mà không phải từ bỏ khả năng của doanh nghiệp. Cổng AI của nó được triển khai bên trong đám mây hoặc VPC của riêng bạn, do đó các lời nhắc và dấu vết vẫn nằm trong khu vực cơ sở hạ tầng của bạn, đồng thời vẫn cung cấp cho bạn một giao diện tương thích với OpenAI duy nhất cho hơn 1,000 mô hình, cân bằng tải và dự phòng, bộ bảo vệ đầy đủ, quyền truy cập dựa trên vai trò, ngân sách và khả năng quan sát OpenTelemetry.
Nó còn vượt xa vai trò của một máy chủ proxy đơn thuần. TrueFoundry quản lý các máy chủ và tác nhân MCP thông qua cùng một mặt phẳng điều khiển, và hệ thống điều khiển tác nhân của nó, TrueForge, là mã nguồn mở và không phụ thuộc vào nhà cung cấp, vì vậy các thành phần bạn muốn kiểm tra và mở rộng đều được mở trong khi nền tảng vẫn hoạt động ở nơi bạn cần. Đối với các nhóm muốn có tư thế tự lưu trữ của một dự án mã nguồn mở nhưng lại cần chiều sâu và sự hỗ trợ của một nền tảng doanh nghiệp, đây là sự kết hợp khó tìm thấy ở nơi khác. Ví dụ, FloQast vận hành hoàn toàn hệ thống này trên nền tảng đám mây riêng của họ để giữ dữ liệu tài chính tại chỗ trên các khu vực Hoa Kỳ, EU và APAC, điều mà bạn có thể tìm hiểu thêm trong tài liệu và các nghiên cứu điển hình về AI Gateway của TrueFoundry .
Phù hợp nhất cho: các doanh nghiệp cần lưu trữ dữ liệu tại chỗ và quản trị toàn diện trong khi tự vận hành cổng kết nối. Lưu ý: đây là một nền tảng phức tạp, vì vậy hãy lên kế hoạch triển khai thay vì kỳ vọng cài đặt chỉ trong năm phút.
2. Portkey — một lõi định tuyến mã nguồn mở nhanh và phổ biến.
Portkey đã công khai mã nguồn cổng thanh toán của mình theo giấy phép MIT, và phần lõi thực sự là một sản phẩm kỹ thuật tuyệt vời: nhẹ, độ trễ thêm vào rất thấp, định tuyến đến một danh mục mô hình lớn với các biện pháp bảo vệ tích hợp, và dễ dàng chạy như một container do bạn tự lưu trữ. Nếu bạn muốn một proxy mã nguồn mở đã được chứng minh để xây dựng, thì đây là một trong những điểm khởi đầu phổ biến nhất vì những lý do chính đáng.
Điểm cần lưu ý là ranh giới giữa phiên bản miễn phí và trả phí nằm ở đâu. Phiên bản tự lưu trữ cung cấp cho bạn lớp định tuyến và độ tin cậy, nhưng khả năng lưu trữ, bảng điều khiển giám sát, quyền truy cập dựa trên vai trò đa nhóm, bộ nhớ đệm ngữ nghĩa quy mô lớn và hỗ trợ doanh nghiệp nằm ở gói dịch vụ lưu trữ hoặc gói doanh nghiệp. Vì vậy, nó hoạt động tốt như một bộ định tuyến tự lưu trữ; một hệ thống quản trị đầy đủ thường đòi hỏi gói trả phí.
Phù hợp nhất cho: các nhóm muốn có một lớp định tuyến gọn nhẹ, tự lưu trữ. Lưu ý: hãy xác nhận các tính năng quản trị nào có sẵn trong bản dựng mở trước khi bạn chuẩn hóa nó.
3. Envoy AI Gateway — tiêu chuẩn mở được CNCF hỗ trợ
Envoy AI Gateway mở rộng dự án Envoy Gateway của CNCF với khả năng hỗ trợ gốc cho lưu lượng truy cập AI, và đã đạt phiên bản ổn định 1.0 vào năm 2026. Được tạo ra và duy trì bởi Tetrate cùng với Bloomberg, đây là cổng AI mã nguồn mở đầu tiên được CNCF hỗ trợ, điều này rất quan trọng nếu bạn quan tâm đến quản trị trung lập với nhà cung cấp và một dự án không bị kiểm soát bởi một nhà cung cấp thương mại duy nhất.
Nền tảng này cung cấp giao diện tương thích với OpenAI trên các nhà cung cấp mô hình chính, cùng với khả năng định tuyến, chuyển đổi dự phòng và theo dõi OpenTelemetry GenAI trên các cuộc trò chuyện, dữ liệu nhúng và các điểm cuối khác. Bloomberg hiện đang sử dụng nó trong môi trường sản xuất. Nhược điểm là đây là phần mềm cấp cơ sở hạ tầng: mạnh mẽ và tuân thủ các tiêu chuẩn, nhưng nó đòi hỏi một nhóm vận hành thành thạo Envoy và Kubernetes, và các tiện ích cấp cao hơn đòi hỏi khả năng tự thực hiện nhiều hơn so với một nền tảng được quản lý.
Phù hợp nhất cho: các nhóm nền tảng muốn có một cổng kết nối dựa trên Envoy theo tiêu chuẩn CNCF mà họ hoàn toàn kiểm soát. Lưu ý: cần dự trù ngân sách cho chuyên môn vận hành mà Envoy và Kubernetes yêu cầu.
4. Higress — một cổng mã nguồn mở quy mô lớn, tích hợp trí tuệ nhân tạo.
Higress được khởi nguồn từ Alibaba, là mã nguồn mở theo giấy phép Apache-2.0 và được xây dựng trên Istio và Envoy. Nó đã được kiểm thử kỹ lưỡng ở quy mô lớn, với khả năng xử lý hàng trăm nghìn yêu cầu mỗi giây trong môi trường sản xuất và các thay đổi cấu hình có hiệu lực trong vòng mili giây thay vì gây gián đoạn quá trình tải lại.
Về mảng AI, nó hỗ trợ các nhà cung cấp mô hình phổ biến, có thể lưu trữ máy chủ MCP thông qua cơ chế plugin để các tác nhân có thể gọi các công cụ, và cung cấp quản lý thống nhất cho cả API LLM và MCP, cùng với WAF và một loạt các chiến lược xác thực. Đây là một lựa chọn tuyệt vời nếu hiệu năng thô và một lõi xử lý thông lượng cao đã được chứng minh là ưu tiên của bạn. Giống như các dự án ưu tiên cơ sở hạ tầng khác, quản trị cấp cao và sự hoàn thiện sản phẩm không được tốt bằng một nền tảng doanh nghiệp chuyên dụng, và cộng đồng người dùng có thể ít quen thuộc hơn với một số nhóm phương Tây.
Phù hợp nhất cho: các nhóm cần một cổng thông tin có thông lượng cao, hoàn toàn mã nguồn mở và tích hợp AI. Lưu ý: bạn sẽ phải tự xây dựng phần lớn lớp quản trị.
5. Gloo AI Gateway — Dựa trên Envoy và tích hợp Kubernetes.
Gloo AI Gateway, từ Solo.io, xây dựng hệ thống quản lý lưu lượng AI dựa trên nền tảng gateway hoàn thiện dành riêng cho Envoy và Kubernetes. Nó nhắm đến các nhu cầu cụ thể của lưu lượng LLM: bộ nhớ đệm ngữ nghĩa, giới hạn tốc độ dựa trên token, làm giàu thông tin nhắc nhở, chèn thông tin xác thực thông qua Kubernetes secrets và bảo vệ chống rò rỉ dữ liệu để ngăn chặn thông tin nhạy cảm bị lộ. Solo.io đã tặng gateway mã nguồn mở của mình cho CNCF (với tên gọi kgateway), vì vậy đây thực sự là một mã nguồn mở.
Sự khác biệt nhỏ này phản ánh mô hình trong danh sách này: một số khả năng dành riêng cho LLM, chẳng hạn như giới hạn tốc độ dựa trên mã thông báo, thường là một phần của giấy phép doanh nghiệp chứ không phải là gói lõi miễn phí. Nếu bạn đã sử dụng Kubernetes và muốn một cổng dựa trên Envoy xử lý lưu lượng AI như một yếu tố ưu tiên, thì đây là một lựa chọn phù hợp miễn là bạn xác định được các tính năng mình cần cho đúng cấp độ.
Phù hợp nhất cho: Các nhóm sử dụng nhiều Kubernetes muốn có một cổng dựa trên Envoy với các tính năng quản lý lưu lượng AI. Lưu ý: kiểm tra xem các tính năng LLM nào yêu cầu phiên bản doanh nghiệp.
Cách chọn
Nếu bạn muốn một dự án mã nguồn mở hoàn toàn để tự vận hành, Envoy AI Gateway và Higress cung cấp các lõi hiệu năng cao, tuân thủ tiêu chuẩn, còn Gloo là một lựa chọn tốt nếu bạn đã cam kết sử dụng Envoy trên Kubernetes. Portkey là cách nhẹ nhàng nhất để tự lưu trữ lớp định tuyến, miễn là bạn chấp nhận các giới hạn cấp độ. Và nếu điều bạn thực sự cần là dữ liệu được lưu trữ trên đám mây riêng của bạn với đầy đủ quản trị và hỗ trợ cấp doanh nghiệp, TrueFoundry là lựa chọn cung cấp cho bạn khả năng tự lưu trữ mà không yêu cầu bạn tự xây dựng hệ thống quản trị.
Điểm mấu chốt
Tự xây dựng cổng AI trước đây đồng nghĩa với việc phải từ bỏ một số tính năng để đổi lấy quyền kiểm soát. Nhưng đến năm 2026, điều đó không còn đúng nữa: bạn có thể có được một tiêu chuẩn mở được CNCF hỗ trợ, một lõi AI gốc có hiệu suất cao, hoặc một nền tảng doanh nghiệp được quản trị hoàn toàn chạy trong môi trường của riêng bạn. Lựa chọn đúng đắn phụ thuộc vào việc bạn muốn tự vận hành đến mức nào so với mức độ quản trị mà bạn muốn có sẵn. Đối với các nhóm muốn cả quyền kiểm soát và chiều sâu, TrueFoundry là lựa chọn tốt nhất.
