Pikeun seueur tim, patarosan anu munggaran ngeunaan gateway AI sanés "naon anu tiasa dilakukeun" tapi "dimana jalanna." Upami anjeun aya dina industri anu diatur, ngatur data sénsitip, atanapi ngan saukur alérgi ngirim unggal prompt sareng réspon ngalangkungan awan batur, gateway SaaS anu di-hosting henteu tiasa dianggo henteu paduli kumaha rapihna. Anjeun hoyong anu anjeun tiasa jalankeun di jero infrastruktur anjeun nyalira, pariksa, sareng kontrol.
Warta anu saéna nyaéta pasar open-source sareng self-hostable ieu parantos janten langkung kuat. Gerbang AI nyaéta bidang kontrol antara aplikasi anjeun sareng panyadia modél anjeun, anu ngatur routing, reliabilitas, kaamanan, sareng biaya dina hiji tempat, sareng sababaraha anu pangsaéna ayeuna dikirim salaku parangkat lunak anu anjeun tiasa hosting nyalira. Ieu lima anu pantes dipilih nalika self-hosting mangrupikeun sarat, sanés hal anu saé pikeun dipiboga.
Naon sabenerna anu dimaksud "self-hostable"
Sateuacan daptarna, aya kecap sakeudeung ngeunaan bubu éta. "Open source" sareng "self-hostable" sanés hal anu sami, sareng duanana henteu ngajamin fitur anu anjeun peryogikeun aya dina versi gratis. Sababaraha proyék open-source inti routing gancang tapi ngajaga tata kelola, panyimpenan observability, sareng kontrol aksés multi-tim dina tingkat anu mayar. Janten évaluasi tilu hal sacara misah: naha parangkat lunakna jalan dina lingkungan anjeun nyalira, naha kamampuan khusus anu anjeun peryogikeun aya dina vérsi anu anjeun tiasa self-host, sareng naha data leres-leres tetep aya dina infrastruktur anjeun ti mimiti dugi ka ahir. Kalayan lénsa éta, ieu kumaha lima ieu ngabandingkeun.
1. TrueFoundry — pesawat kontrol perusahaan anu anjeun jalankeun dina méga anjeun nyalira
TrueFoundry mingpin daptar ieu sabab diwangun pikeun persis kendala anu ngadorong tim nuju hosting mandiri: nyimpen data dina lingkungan anjeun nyalira tanpa ngorbankeun kamampuan perusahaan. Gerbang AI na dipasang di jero awan atanapi VPC anjeun nyalira, janten prompt sareng trace tetep aya di daérah infrastruktur anjeun dumasar daérah, bari tetep masihan anjeun antarmuka anu cocog sareng OpenAI pikeun 1,000+ modél, load balancing sareng fallback, suite pager pager lengkep, aksés berbasis peran, anggaran, sareng observabilitas OpenTelemetry.
Éta ogé ngahontal langkung ti ngan ukur proxy murni. TrueFoundry ngatur server MCP sareng agén ngalangkungan bidang kontrol anu sami, sareng agénna, TrueForge, mangrupikeun sumber terbuka sareng nétral vendor, janten potongan anu anjeun hoyong pariksa sareng manjangkeun dibuka sedengkeun platformna sorangan dijalankeun dimana anjeun peryogina. Pikeun tim anu hoyong sikep hosting mandiri tina proyék sumber terbuka tapi jerona sareng dukungan platform perusahaan, ieu mangrupikeun kombinasi anu hésé dipendakan di tempat sanés. FloQast, contona, ngajalankeunana sapinuhna di jero méga sorangan pikeun ngajaga data kauangan tetep aya di sakumna daérah AS, EU, sareng APAC, anu anjeun tiasa baca dina dokuméntasi sareng studi kasus AI Gateway TrueFoundry .
Pangsaéna pikeun: perusahaan anu peryogi residensi data sareng tata kelola lengkep bari ngajalankeun gateway nyalira. Ati-ati: ieu platform anu beunghar, janten rencanakeun peluncuranna tibatan ngarepkeun pamasangan lima menit.
2. Portkey — inti routing sumber terbuka anu gancang sareng populér
Portkey ngadamel gateway-na sacara open-source dina lisénsi MIT, sareng inti na mangrupikeun rékayasa anu saé pisan: hampang, latency tambahan anu handap pisan, routing ka katalog modél ageung kalayan pager anu terintegrasi, sareng gampang dijalankeun salaku wadah anu anjeun host nyalira. Upami anjeun hoyong proxy open-source anu kabuktian pikeun diwangun, éta mangrupikeun salah sahiji titik awal anu paling populér pikeun alesan anu saé.
Anu jadi katerangan nyaéta wates antara gratis sareng anu mayar. Build anu di-host-mandiri masihan anjeun lapisan routing sareng reliabilitas, tapi panyimpenan sareng dasbor anu tiasa diobservasi, aksés berbasis peran multi-tim, caching semantik dina skala ageung, sareng dukungan perusahaan aya dina tingkat anu di-host atanapi perusahaan. Janten éta tiasa di-host-mandiri ogé salaku router; tumpukan tata kelola lengkep biasana hartosna rencana anu mayar.
Pangsaéna pikeun: tim anu hoyong lapisan routing anu ramping sareng di-host mandiri. Ati-ati: pastikeun fitur tata kelola mana anu aya dina open build sateuacan anjeun ngabakukeunana.
3. Envoy AI Gateway — standar kabuka anu didukung ku CNCF
Envoy AI Gateway ngalegaan proyék Envoy Gateway CNCF kalayan dukungan asli pikeun lalu lintas AI, sareng ngahontal stabil 1.0 dina taun 2026. Didamel sareng dijaga ku Tetrate sareng Bloomberg, éta mangrupikeun gateway AI sumber terbuka anu munggaran anu didukung ku CNCF, anu penting upami anjeun paduli kana tata kelola nétral vendor sareng proyék anu henteu dikontrol ku hiji vendor komérsial.
Ieu nawiskeun antarmuka anu cocog sareng OpenAI di sakumna panyadia modél utama, ditambah routing, failover, sareng OpenTelemetry GenAI tracing di sakumna obrolan, embeddings, sareng titik tungtung anu sanésna. Bloomberg parantos ngajalankeunana dina produksi. Kauntungannana nyaéta parangkat lunak tingkat infrastrukturna: kuat sareng saluyu sareng standar, tapi ngarepkeun tim anu nyaman ngoperasikeun Envoy sareng Kubernetes, sareng genah tingkat anu langkung luhur langkung DIY tibatan dina platform anu dikelola.
Pangsaéna pikeun: tim platform anu hoyong gateway berbasis Envoy standar CNCF anu dikontrol sapinuhna. Ati-ati: anggaran pikeun kaahlian operasional anu dipénta ku Envoy sareng Kubernetes.
4. Higress — gerbang sumber terbuka asli AI skala luhur
Higress dimimitian ti Alibaba, open-source dina Apache-2.0, sareng diwangun dina Istio sareng Envoy. Higress parantos diuji coba dina skala ageung, kalayan validasi produksi anu nanganan ratusan rébu pamundut per detik sareng parobihan konfigurasi anu épéktip dina milidetik tinimbang maksa muat ulang anu ngaganggu.
Di sisi AI, éta ngadukung panyadia modél utama, tiasa ngalayanan server MCP ngalangkungan mékanisme plugin na supados agén tiasa nelepon alat, sareng nyayogikeun manajemen terpadu pikeun API LLM sareng MCP, sareng WAF sareng sababaraha strategi auténtikasi. Éta mangrupikeun pilihan anu saé upami kinerja atah sareng inti throughput tinggi anu kabuktian mangrupikeun prioritas anjeun. Sapertos proyék infrastruktur anu sanés, tata kelola tingkat luhur sareng polesan produk langkung hampang tibatan platform perusahaan khusus, sareng pusat gravitasi komunitas panginten kirang dikenal ku sababaraha tim Kulon.
Pangsaéna pikeun: tim anu peryogi gateway AI-native anu throughput-na luhur sareng sumber terbuka. Ati-ati: anjeun bakal ngumpulkeun langkung seueur lapisan tata kelola nyalira.
5. Gloo AI Gateway — Basis utusan sareng asli Kubernetes
Gloo AI Gateway, ti Solo.io, ngawangun manajemen lalu lintas AI di luhur gateway asli Envoy sareng Kubernetes anu parantos dewasa. Éta narékahan kabutuhan khusus lalu lintas LLM: caching semantik, pangwatesan laju berbasis token, pengayaan prompt, injeksi kredensial via rahasia Kubernetes, sareng panyalindungan éksfiltrasi data pikeun nyegah bocorna inpormasi sénsitip. Solo.io nyumbangkeun gateway sumber terbukana ka CNCF (salaku kgateway), janten aya inti terbuka anu asli.
Nuansa ieu ngagambarkeun pola dina daptar ieu: sababaraha kamampuan khusus LLM, sapertos ngawatesan laju dumasar token, biasana mangrupikeun bagian tina lisénsi perusahaan tinimbang inti gratis. Upami anjeun parantos ngajalankeun Kubernetes sareng hoyong gateway berbasis Envoy anu nganggap lalu lintas AI salaku warga kelas hiji, éta cocog pisan salami anjeun memetakan fitur mana anu anjeun peryogikeun kana tingkat anu leres.
Pangsaéna pikeun: Tim anu seueur Kubernetes anu hoyong gateway berbasis Envoy kalayan fitur lalu lintas AI. Ati-ati: pariksa fitur LLM mana anu meryogikeun édisi perusahaan.
Kumaha milih
Upami anjeun hoyong proyék sumber terbuka murni pikeun dijalankeun sareng dioperasikeun nyalira, Envoy AI Gateway sareng Higress masihan anjeun inti kinerja tinggi anu saluyu sareng standar, sareng Gloo mangrupikeun pilihan anu kuat nalika anjeun parantos komitmen ka Envoy dina Kubernetes. Portkey mangrupikeun cara anu paling hampang pikeun nga-host lapisan routing sacara mandiri, salami anjeun nampi wates tingkatan. Sareng upami anu anjeun peryogikeun nyaéta data anu tetep aya dina awan anjeun nyalira kalayan tata kelola perusahaan lengkep sareng dukungan di tukangeunana, TrueFoundry mangrupikeun pilihan anu masihan anjeun sikep anu di-host sacara mandiri tanpa nyuhunkeun anjeun pikeun ngawangun tumpukan tata kelola nyalira.
Handap garis
Nga-host gateway AI sacara mandiri baheula hartina ngaleupaskeun fitur pikeun kontrol. Dina taun 2026 éta henteu leres deui: anjeun tiasa kéngingkeun standar kabuka anu didukung CNCF, inti asli AI throughput tinggi, atanapi platform perusahaan anu diatur sapinuhna anu dijalankeun di jero lingkungan anjeun nyalira. Pilihan anu pas gumantung kana sabaraha anjeun hoyong ngoperasikeun diri anjeun dibandingkeun sareng sabaraha tata kelola anu anjeun pikahoyong. Pikeun tim anu hoyong kontrol sareng jerona, TrueFoundry anu kedah dikalahkeun.
