Bagi banyak tim, pertanyaan pertama tentang gateway AI bukanlah "apa yang dapat dilakukannya" tetapi "di mana ia dijalankan." Jika Anda berada di industri yang diatur, menangani data sensitif, atau sekadar alergi untuk mengirim setiap perintah dan respons melalui cloud orang lain, gateway SaaS yang dihosting bukanlah pilihan yang tepat, tidak peduli seberapa canggihnya. Anda menginginkan sesuatu yang dapat Anda jalankan di dalam infrastruktur Anda sendiri, periksa, dan kendalikan.
Kabar baiknya adalah bahwa sisi open-source dan self-hostable dari pasar ini telah menjadi sangat kuat. Gateway AI adalah bidang kendali antara aplikasi Anda dan penyedia model Anda, menangani perutean, keandalan, keamanan, dan biaya di satu tempat, dan beberapa yang terbaik sekarang dikirimkan sebagai perangkat lunak yang dapat Anda host sendiri. Berikut adalah lima yang layak dipertimbangkan ketika self-hosting merupakan suatu keharusan, bukan sekadar pilihan tambahan.
Apa arti sebenarnya dari "dapat dihosting sendiri"?
Sebelum daftar, sedikit penjelasan tentang jebakan. "Sumber terbuka" dan "dapat dihosting sendiri" bukanlah hal yang sama, dan keduanya tidak menjamin fitur yang Anda butuhkan ada dalam versi gratis. Beberapa proyek membuka kode sumber inti perutean cepat tetapi menyimpan tata kelola, penyimpanan observabilitas, dan kontrol akses multi-tim dalam tingkatan berbayar. Jadi, evaluasilah tiga hal secara terpisah: apakah perangkat lunak berjalan di lingkungan Anda sendiri, apakah kemampuan spesifik yang Anda butuhkan ada dalam versi yang dapat Anda host sendiri, dan apakah data benar-benar tetap berada di infrastruktur Anda dari ujung ke ujung. Dengan sudut pandang tersebut, berikut perbandingan kelima perangkat lunak ini.
1. TrueFoundry — platform kendali perusahaan yang Anda jalankan di cloud Anda sendiri
TrueFoundry memimpin daftar ini karena dirancang tepat untuk mengatasi kendala yang mendorong tim untuk melakukan self-hosting: menyimpan data di lingkungan sendiri tanpa mengorbankan kemampuan perusahaan. AI Gateway -nya diimplementasikan di dalam cloud atau VPC Anda sendiri, sehingga prompt dan trace tetap berada di infrastruktur Anda di setiap wilayah, sambil tetap memberi Anda antarmuka tunggal yang kompatibel dengan OpenAI untuk lebih dari 1,000 model, penyeimbangan beban dan fallback, rangkaian pengaman lengkap, akses berbasis peran, anggaran, dan observabilitas OpenTelemetry.
Selain itu, jangkauannya lebih luas daripada sekadar proxy murni. TrueFoundry mengatur server dan agen MCP melalui bidang kontrol yang sama, dan kerangka kerja agennya, TrueForge, bersifat open source dan netral terhadap vendor, sehingga bagian-bagian yang ingin Anda periksa dan perluas bersifat terbuka sementara platform itu sendiri berjalan di tempat yang Anda butuhkan. Bagi tim yang menginginkan posisi self-hosting dari proyek open source tetapi kedalaman dan dukungan dari platform perusahaan, ini adalah kombinasi yang sulit ditemukan di tempat lain. FloQast, misalnya, menjalankannya sepenuhnya di dalam cloud-nya sendiri untuk menyimpan data keuangan di seluruh wilayah AS, UE, dan APAC, yang dapat Anda baca di dokumentasi dan studi kasus AI Gateway TrueFoundry .
Cocok untuk: perusahaan yang membutuhkan residensi data dan tata kelola penuh sambil menjalankan gateway sendiri. Perhatian: ini adalah platform yang kaya fitur, jadi rencanakan peluncurannya dengan matang dan jangan berharap instalasi hanya memakan waktu lima menit.
2. Portkey — sebuah core routing open-source yang cepat dan populer.
Portkey merilis gateway-nya sebagai perangkat lunak sumber terbuka di bawah lisensi MIT, dan intinya merupakan hasil rekayasa yang benar-benar bagus: ringan, latensi tambahan sangat rendah, perutean ke katalog model besar dengan pengaman terintegrasi, dan mudah dijalankan sebagai kontainer yang Anda host sendiri. Jika Anda menginginkan proxy sumber terbuka yang terbukti untuk dikembangkan, ini adalah salah satu titik awal paling populer karena alasan yang bagus.
Yang perlu diperhatikan adalah di mana garis batas antara versi gratis dan berbayar berada. Versi yang dihosting sendiri memberi Anda lapisan perutean dan keandalan, tetapi penyimpanan observabilitas dan dasbor, akses berbasis peran multi-tim, caching semantik dalam skala besar, dan dukungan perusahaan berada di tingkat yang dihosting atau perusahaan. Jadi, versi yang dihosting sendiri berfungsi dengan baik sebagai router; tumpukan tata kelola lengkap biasanya berarti paket berbayar.
Terbaik untuk: tim yang menginginkan lapisan perutean yang ramping dan dihosting sendiri. Perhatian: pastikan fitur tata kelola apa yang ada di versi open source sebelum Anda menstandarkannya.
3. Envoy AI Gateway — standar terbuka yang didukung CNCF
Envoy AI Gateway memperluas proyek Envoy Gateway dari CNCF dengan dukungan asli untuk lalu lintas AI, dan mencapai versi stabil 1.0 pada tahun 2026. Dibuat dan dikelola oleh Tetrate bersama dengan Bloomberg, ini adalah gateway AI sumber terbuka pertama yang didukung CNCF, yang penting jika Anda peduli dengan tata kelola netral vendor dan proyek yang tidak dikendalikan oleh satu vendor komersial.
Platform ini menawarkan antarmuka yang kompatibel dengan OpenAI di seluruh penyedia model utama, ditambah perutean, failover, dan pelacakan OpenTelemetry GenAI di seluruh obrolan, penyematan, dan titik akhir lainnya. Bloomberg sudah menjalankannya di lingkungan produksi. Kelemahannya adalah perangkat lunak ini termasuk perangkat lunak kelas infrastruktur: kuat dan selaras dengan standar, tetapi membutuhkan tim yang nyaman mengoperasikan Envoy dan Kubernetes, dan kemudahan tingkat yang lebih tinggi lebih bersifat swakelola daripada di platform yang dikelola.
Cocok untuk: tim platform yang menginginkan gateway berbasis Envoy berstandar CNCF yang sepenuhnya mereka kendalikan. Perhatian: anggarkan dana untuk keahlian operasional yang dibutuhkan Envoy dan Kubernetes.
4. Higress — sebuah gateway open-source berbasis AI skala besar.
Higress berawal dari dalam Alibaba, dirilis sebagai perangkat lunak sumber terbuka di bawah lisensi Apache-2.0, dan dibangun di atas Istio dan Envoy. Higress telah teruji dalam skala besar, dengan validasi produksi yang menangani ratusan ribu permintaan per detik dan perubahan konfigurasi yang berlaku dalam hitungan milidetik, bukan memaksa pemuatan ulang yang mengganggu.
Dari sisi AI, platform ini mendukung penyedia model utama, dapat menghosting server MCP melalui mekanisme plugin-nya sehingga agen dapat memanggil alat, dan menyediakan manajemen terpadu untuk API LLM dan MCP, bersama dengan WAF dan berbagai strategi otentikasi. Ini adalah pilihan yang sangat baik jika kinerja mentah dan inti dengan throughput tinggi yang terbukti adalah prioritas Anda. Seperti proyek-proyek yang mengutamakan infrastruktur lainnya, tata kelola tingkat tinggi dan penyempurnaan produk lebih ringan daripada platform perusahaan khusus, dan pusat gravitasi komunitas mungkin kurang familiar bagi beberapa tim Barat.
Cocok untuk: tim yang membutuhkan gateway AI sumber terbuka sepenuhnya dengan throughput tinggi. Perhatian: Anda akan merakit sendiri sebagian besar lapisan tata kelola.
5. Gloo AI Gateway — Berbasis Envoy dan native Kubernetes
Gloo AI Gateway, dari Solo.io, membangun manajemen lalu lintas AI di atas gateway Envoy dan Kubernetes yang sudah matang. Gateway ini menargetkan kebutuhan spesifik lalu lintas LLM: caching semantik, pembatasan laju berbasis token, pengayaan prompt, injeksi kredensial melalui rahasia Kubernetes, dan perlindungan eksfiltrasi data untuk mencegah kebocoran informasi sensitif. Solo.io menyumbangkan gateway open-source-nya ke CNCF (sebagai kgateway), sehingga terdapat inti terbuka yang sejati.
Nuansanya mencerminkan pola pada daftar ini: beberapa kemampuan khusus LLM, seperti pembatasan laju berbasis token, biasanya merupakan bagian dari lisensi perusahaan dan bukan bagian dari inti gratis. Jika Anda sudah menjalankan Kubernetes dan menginginkan gateway berbasis Envoy yang memperlakukan lalu lintas AI sebagai prioritas utama, ini sangat cocok selama Anda memetakan fitur mana yang Anda butuhkan ke tingkatan yang tepat.
Cocok untuk: Tim yang banyak menggunakan Kubernetes dan menginginkan gateway berbasis Envoy dengan fitur lalu lintas AI. Perhatian: periksa fitur LLM mana yang memerlukan edisi enterprise.
Bagaimana memilih
Jika Anda menginginkan proyek open-source murni untuk dijalankan dan dioperasikan sendiri, Envoy AI Gateway dan Higress memberi Anda core berkinerja tinggi yang selaras dengan standar, dan Gloo adalah pilihan yang tepat jika Anda sudah berkomitmen pada Envoy di Kubernetes. Portkey adalah cara paling ringan untuk melakukan self-hosting lapisan routing, asalkan Anda menerima batasan tingkatan (tier). Dan jika yang sebenarnya Anda butuhkan adalah data yang tetap berada di cloud Anda sendiri dengan tata kelola dan dukungan perusahaan penuh di baliknya, TrueFoundry adalah pilihan yang memberi Anda posisi self-hosted tanpa mengharuskan Anda membangun tumpukan tata kelola sendiri.
Intinya
Dulu, mengelola gateway AI sendiri berarti mengorbankan beberapa fitur demi kontrol. Namun, di tahun 2026 hal itu tidak lagi berlaku: Anda bisa mendapatkan standar terbuka yang didukung CNCF, inti AI berbasis kinerja tinggi, atau platform perusahaan yang sepenuhnya terkelola dan berjalan di lingkungan Anda sendiri. Pilihan yang tepat bergantung pada seberapa banyak Anda ingin mengoperasikan sendiri dibandingkan dengan seberapa banyak tata kelola yang Anda inginkan sejak awal. Bagi tim yang menginginkan kontrol dan kedalaman, TrueFoundry adalah pilihan terbaik.
