Birçok ekip için yapay zeka ağ geçidiyle ilgili ilk soru "ne yapabilir" değil, "nerede çalışır" oluyor. Düzenlemeye tabi bir sektördeyseniz, hassas verilerle çalışıyorsanız veya her istemi ve yanıtı başkasının bulutu üzerinden göndermekten hoşlanmıyorsanız, ne kadar gelişmiş olursa olsun, barındırılan bir SaaS ağ geçidi uygun bir seçenek değildir. Kendi altyapınızda çalıştırabileceğiniz, inceleyebileceğiniz ve kontrol edebileceğiniz bir şeye ihtiyacınız var.
İyi haber şu ki, bu pazarın açık kaynaklı ve kendi sunucunuzda barındırabileceğiniz kısmı gerçekten güçlendi. Bir yapay zeka ağ geçidi, uygulamalarınız ve model sağlayıcılarınız arasında kontrol düzlemi görevi görür; yönlendirme, güvenilirlik, güvenlik ve maliyeti tek bir yerden yönetir ve en iyilerinden bazıları artık kendi sunucunuzda barındırabileceğiniz yazılım olarak sunulmaktadır. Kendi sunucunuzda barındırmanın bir gereklilik olduğu durumlarda, kısa listeye alınmaya değer beş tanesi şunlardır:
"Kendi sunucunuzda barındırılabilir" ifadesinin gerçekte ne anlama gelmesi gerektiği
Listeye geçmeden önce, bir tuzaktan kısaca bahsedelim. "Açık kaynak" ve "kendi sunucunuzda barındırılabilir" aynı şey değildir ve ikisi de ihtiyacınız olan özelliğin ücretsiz sürümde olacağını garanti etmez. Bazı projeler hızlı yönlendirme çekirdeğini açık kaynak olarak sunarken, yönetişim, gözlemlenebilirlik depolama ve çoklu ekip erişim kontrolünü ücretli bir katmanda tutar. Bu nedenle üç şeyi ayrı ayrı değerlendirin: yazılımın kendi ortamınızda çalışıp çalışmadığı, ihtiyacınız olan belirli yeteneklerin kendi sunucunuzda barındırabileceğiniz sürümde olup olmadığı ve verilerin gerçekten de altyapınızda uçtan uca kalıp kalmadığı. Bu bakış açısıyla, bu beş yazılımın karşılaştırması şöyle:
1. TrueFoundry — Kendi bulutunuzda çalıştırdığınız kurumsal kontrol düzlemi
TrueFoundry, bu listenin başında yer alıyor çünkü ekipleri kendi sunucularında barındırmaya iten temel kısıtlamaya tam olarak çözüm üretmek için tasarlandı: Kurumsal yeteneklerden ödün vermeden verileri kendi ortamınızda tutmak. Yapay Zeka Ağ Geçidi, kendi bulutunuzda veya VPC'nizde dağıtılır, böylece komutlar ve izlemeler altyapınızda bölge bölge kalır; aynı zamanda 1,000'den fazla modele, yük dengeleme ve yedeklemelere, eksiksiz bir güvenlik önlemleri paketine, rol tabanlı erişime, bütçelere ve OpenTelemetry gözlemlenebilirliğine tek bir OpenAI uyumlu arayüz sunar.
Ayrıca, yalnızca bir proxy'den daha fazlasını sunuyor. TrueFoundry, MCP sunucularını ve ajanlarını aynı kontrol düzlemi üzerinden yönetiyor ve ajan altyapısı TrueForge açık kaynaklı ve satıcıdan bağımsız olduğundan, incelemek ve genişletmek istediğiniz parçalar açık kaynaklıyken, platformun kendisi ihtiyaç duyduğunuz yerde çalışıyor. Açık kaynaklı bir projenin kendi kendine barındırma özelliğini ancak kurumsal bir platformun derinliğini ve desteğini isteyen ekipler için, bu başka yerde bulması zor bir kombinasyon. Örneğin FloQast, finansal verileri ABD, AB ve APAC bölgelerinde yerleşik tutmak için bunu tamamen kendi bulutunda çalıştırıyor; bu konuda TrueFoundry'nin AI Gateway belgelerinde ve vaka çalışmalarında bilgi edinebilirsiniz.
En uygun kullanım alanı: Veri yerleşimi ve tam yönetişime ihtiyaç duyan ve ağ geçidini kendileri yöneten işletmeler. Dikkat edilmesi gereken nokta: Zengin özelliklere sahip bir platform olduğundan, beş dakikalık bir kurulum beklemek yerine, devreye alma sürecini planlamanız gerekir.
2. Portkey — hızlı, popüler bir açık kaynaklı yönlendirme çekirdeği
Portkey, ağ geçidini MIT lisansı altında açık kaynaklı hale getirdi ve çekirdeği gerçekten iyi bir mühendislik ürünü: hafif, çok düşük ek gecikme süresi, entegre güvenlik önlemleriyle geniş bir model kataloğuna yönlendirme ve kendi sunucunuzda barındırdığınız bir konteyner olarak kolayca çalıştırılabilme özelliği. Üzerine inşa edebileceğiniz kanıtlanmış bir açık kaynaklı proxy istiyorsanız, haklı olarak en popüler başlangıç noktalarından biridir.
Burada dikkat edilmesi gereken nokta, ücretsiz ve ücretli sürümler arasındaki sınırın nerede olduğudur. Kendi sunucunuzda barındırılan sürüm size yönlendirme ve güvenilirlik katmanını sağlar, ancak gözlemlenebilirlik depolama ve kontrol panelleri, çoklu ekip rol tabanlı erişim, büyük ölçekli anlamsal önbellekleme ve kurumsal destek, barındırılan veya kurumsal katmanda yer alır. Dolayısıyla, bir yönlendirici olarak kendi sunucunuzda iyi çalışır; tam bir yönetim yığını genellikle ücretli plan anlamına gelir.
En uygun olduğu durumlar: yalın, kendi kendine barındırılan bir yönlendirme katmanı isteyen ekipler. Dikkat edilmesi gerekenler: standartlaştırmadan önce açık kaynaklı sürümde hangi yönetim özelliklerinin yer aldığını doğrulayın.
3. Envoy AI Gateway — CNCF destekli açık standart
Envoy AI Gateway, CNCF'nin Envoy Gateway projesini yapay zeka trafiği için yerel destekle genişletiyor ve 2026'da kararlı 1.0 sürümüne ulaştı. Tetrate tarafından Bloomberg ile birlikte oluşturulan ve sürdürülen bu proje, satıcıdan bağımsız yönetişim ve tek bir ticari satıcı tarafından kontrol edilmeyen bir proje ile ilgileniyorsanız önemli olan, CNCF tarafından desteklenen ilk açık kaynaklı yapay zeka ağ geçididir.
Başlıca model sağlayıcıları arasında OpenAI uyumlu bir arayüz sunmanın yanı sıra, sohbet, yerleştirmeler ve diğer uç noktalar genelinde yönlendirme, arıza durumunda yedekleme ve OpenTelemetry GenAI izleme özellikleri de sunuyor. Bloomberg bunu zaten üretim ortamında kullanıyor. Dezavantajı ise altyapı düzeyinde bir yazılım olması: güçlü ve standartlara uygun, ancak Envoy ve Kubernetes'i çalıştırmaya alışkın bir ekip gerektiriyor ve üst düzey kolaylıklar, yönetilen bir platforma göre daha çok kendin yap (DIY) yaklaşımı gerektiriyor.
En uygun olduğu durumlar: Tamamen kontrol edebilecekleri, CNCF standardına uygun, Envoy tabanlı bir ağ geçidi isteyen platform ekipleri. Dikkat edilmesi gerekenler: Envoy ve Kubernetes'in gerektirdiği operasyonel uzmanlık için bütçe ayırmanız gerekiyor.
4. Higress — yüksek ölçekli, yapay zeka tabanlı açık kaynaklı bir ağ geçidi
Higress, Alibaba bünyesinde geliştirildi, Apache 2.0 altında açık kaynaklı hale getirildi ve Istio ile Envoy üzerine inşa edildi. Saniyede yüz binlerce isteği işleyen üretim doğrulama testleriyle büyük ölçekte test edildi ve yapılandırma değişiklikleri, kesintiye neden olan yeniden yüklemeler yerine milisaniyeler içinde etkili oluyor.
Yapay zeka tarafında, ana akım model sağlayıcılarını destekler, eklenti mekanizması aracılığıyla MCP sunucularını barındırabilir, böylece aracılar araçları çağırabilir ve WAF ve çeşitli kimlik doğrulama stratejileriyle birlikte hem LLM hem de MCP API'leri için birleşik yönetim sağlar. Ham performans ve kanıtlanmış yüksek verimliliğe sahip bir çekirdek önceliğiniz ise mükemmel bir seçimdir. Diğer altyapı odaklı projelerde olduğu gibi, üst düzey yönetişim ve ürün geliştirme, özel bir kurumsal platforma göre daha hafiftir ve topluluk odaklı yapısı bazı Batılı ekipler için daha az tanıdık gelebilir.
En uygun olduğu alanlar: Yüksek verimliliğe sahip, tamamen açık kaynaklı ve yapay zeka odaklı bir ağ geçidine ihtiyaç duyan ekipler. Dikkat edilmesi gereken nokta: Yönetişim katmanının büyük bir kısmını kendiniz oluşturmanız gerekecek.
5. Gloo Yapay Zeka Ağ Geçidi — Envoy tabanlı ve Kubernetes yerel
Solo.io'nun Gloo AI Gateway'i, olgunlaşmış bir Envoy ve Kubernetes tabanlı ağ geçidi üzerine yapay zeka trafik yönetimini kuruyor. LLM trafiğinin özel ihtiyaçlarını hedefliyor: anlamsal önbellekleme, belirteç tabanlı hız sınırlama, hızlı zenginleştirme, Kubernetes sırları aracılığıyla kimlik bilgisi enjeksiyonu ve hassas bilgilerin sızmasını önlemek için veri sızdırma koruması. Solo.io, açık kaynaklı ağ geçidini (kgateway olarak) CNCF'ye bağışladı, bu nedenle gerçek bir açık kaynak kodlu yapıya sahip.
Bu listedeki örüntüyü yansıtan bir nüans söz konusu: Token tabanlı hız sınırlaması gibi LLM'ye özgü bazı özellikler genellikle ücretsiz temel lisans yerine kurumsal lisansın bir parçasıdır. Zaten Kubernetes kullanıyorsanız ve yapay zeka trafiğini birinci sınıf bir vatandaş olarak ele alan Envoy tabanlı bir ağ geçidi istiyorsanız, ihtiyaç duyduğunuz özellikleri doğru katmana eşleştirdiğiniz sürece güçlü bir uyum sağlayacaktır.
En uygun kullanım alanı: Kubernetes ağırlıklı, Envoy tabanlı ve yapay zeka trafik özelliklerine sahip bir ağ geçidi isteyen ekipler. Dikkat edilmesi gerekenler: LLM özelliklerinden hangilerinin kurumsal sürüm gerektirdiğini kontrol edin.
Nasıl seçmek için
Tamamen açık kaynaklı bir projeyi kendiniz çalıştırmak ve yönetmek istiyorsanız, Envoy AI Gateway ve Higress size standartlara uygun, yüksek performanslı çekirdekler sunar ve Kubernetes üzerinde Envoy'a zaten bağlıysanız Gloo güçlü bir seçenektir. Portkey, katman sınırlarını kabul etmeniz koşuluyla, yönlendirme katmanını kendi bulutunuzda barındırmanın en hafif yoludur. Ve eğer gerçekten ihtiyacınız olan şey, tam kurumsal yönetim ve destekle birlikte verilerinizin kendi bulutunuzda kalması ise, TrueFoundry, yönetim yığınını kendiniz oluşturmanızı gerektirmeden kendi bulutunuzda barındırma olanağı sağlayan seçenektir.
Alt satırda
Yapay zeka ağ geçidini kendi sunucunuzda barındırmak eskiden özelliklerden ödün vererek kontrolü ele geçirmek anlamına geliyordu. 2026'da bu artık doğru değil: CNCF destekli açık bir standart, yüksek verimliliğe sahip yapay zeka tabanlı bir çekirdek veya kendi ortamınızda çalışan tamamen yönetilen bir kurumsal platform edinebilirsiniz. Doğru seçim, ne kadarını kendiniz yönetmek istediğinize ve ne kadar yönetişim istediğinize bağlıdır. Hem kontrol hem de derinlik isteyen ekipler için TrueFoundry en iyi seçenektir.
