No nā hui he nui, ʻo ka nīnau mua e pili ana i kahi puka AI ʻaʻole ia he "he aha ka mea hiki iā ia ke hana" akā "ma hea ia e holo ai." Inā ʻoe i loko o kahi ʻoihana i hoʻoponopono ʻia, e lawelawe ana i ka ʻikepili koʻikoʻi, a i ʻole he maʻi maʻi wale nō i ka hoʻouna ʻana i kēlā me kēia ʻōlelo a me nā pane ma o ke ao o kekahi, ʻaʻole hiki ke hoʻomaka kahi puka SaaS i hoʻokipa ʻia me ka nānā ʻole i kona ʻano maikaʻi. Makemake ʻoe i kahi mea hiki iā ʻoe ke holo i loko o kāu ʻōnaehana ponoʻī, nānā, a kaohi.
ʻO ka nūhou maikaʻi, ua lilo ka hopena open-source a me ka hoʻokipa ponoʻī o kēia mākeke i mea ikaika maoli. ʻO kahi puka AI ka mokulele hoʻomalu ma waena o kāu mau noi a me kāu mau mea hoʻolako kumu hoʻohālike, e lawelawe ana i ke ala ʻana, ka hilinaʻi, ka palekana, a me ke kumukūʻai ma kahi hoʻokahi, a ʻo kekahi o nā mea maikaʻi loa i kēia manawa e hoʻouna ʻia ma ke ʻano he polokalamu hiki iā ʻoe ke hoʻokipa iā ʻoe iho. Eia nā papa inoa ʻelima kūpono i ka wā e koi ʻia ai ka hoʻokipa ponoʻī, ʻaʻole he mea maikaʻi e loaʻa.
He aha ka manaʻo maoli o ka "self-hostable"
Ma mua o ka papa inoa, he huaʻōlelo pōkole e pili ana i ka pahele. ʻAʻole like ka "Open source" a me ka "self-hostable", a ʻaʻole hoʻi e hōʻoiaʻiʻo i ka hiʻohiʻona āu e pono ai ma ke kūkulu manuahi. Hoʻokaʻawale kekahi mau papahana i kahi core routing wikiwiki akā mālama i ke aupuni, ka mālama ʻana i ka nānā ʻana, a me ka mana komo multi-team ma kahi pae uku. No laila e loiloi i ʻekolu mau mea kaʻawale: inā holo ka polokalamu i kou wahi ponoʻī, inā paha nā hiki kikoʻī āu e pono ai ma ka mana hiki iā ʻoe ke hoʻokipa ponoʻī, a inā paha e noho maoli ka ʻikepili i loko o kāu ʻōnaehana mai ka hopena a ka hopena. Me kēlā aniani, eia ke ʻano o ka hoʻohālikelike ʻana o kēia mau ʻelima.
1. TrueFoundry - ka mokulele hoʻokele ʻoihana āu e holo ai i loko o kāu ao ponoʻī
Ke alakaʻi nei ʻo TrueFoundry i kēia papa inoa no ka mea ua kūkulu ʻia no ke kaohi e hoʻoikaika ana i nā hui i ka hoʻokipa ponoʻī: ka mālama ʻana i ka ʻikepili i loko o kou wahi ponoʻī me ka ʻole o ka haʻalele ʻana i ka hiki o ka ʻoihana. Hoʻolaha kāna AI Gateway i loko o kāu ao ponoʻī a i ʻole VPC, no laila e noho mau nā ʻōkuhi a me nā kaha i loko o kāu ʻāpana ʻōnaehana ma kēlā me kēia ʻāpana, ʻoiai e hāʻawi ana iā ʻoe i hoʻokahi interface OpenAI-kūpono i 1,000+ mau hiʻohiʻona, ke kaulike ukana a me nā hāʻule hope, kahi suite pale piha, ke komo ʻana ma muli o ke kuleana, nā kālā, a me ka nānā ʻana o OpenTelemetry.
Hoʻonui pū ia ma mua o kahi proxy maʻemaʻe. Hoʻokele ʻo TrueFoundry i nā kikowaena MCP a me nā ʻelele ma o ka mokulele hoʻomalu like, a ʻo kāna ʻāpana ʻelele, ʻo TrueForge, he open source a kūʻokoʻa-mea kūʻai aku, no laila ua wehe ʻia nā ʻāpana āu e makemake ai e nānā a hoʻonui i ka wā e holo ana ka paepae ponoʻī ma kahi āu e pono ai. No nā hui e makemake ana i ke kūlana hoʻokipa ponoʻī o kahi papahana open-source akā ʻo ka hohonu a me ke kākoʻo o kahi paepae ʻoihana, ʻo ia ka hui pū ʻana i paʻakikī ke loaʻa ma kahi ʻē. ʻO FloQast, no ka laʻana, holo piha ia i loko o kona ao ponoʻī e mālama i ka ʻikepili kālā ma nā ʻāina ʻo US, EU, a me APAC, hiki iā ʻoe ke heluhelu e pili ana i ka palapala AI Gateway a TrueFoundry a me nā haʻawina hihia.
ʻOi loa no: nā ʻoihana e pono ai ka noho ʻana o ka ʻikepili a me ke aupuni piha ʻoiai e holo ana i ka puka komo iā lākou iho. E makaʻala: he kahua waiwai nui ia, no laila e hoʻolālā i ka hoʻolaha ʻana ma mua o ka manaʻo ʻana i kahi hoʻonohonoho ʻelima mau minuke.
2. ʻO Portkey - he kikowaena hoʻokele open-source wikiwiki a kaulana
Ua wehe ʻo Portkey i kāna puka komo ma lalo o kahi laikini MIT, a ʻo ke kumu he ʻāpana ʻenekinia maikaʻi maoli: māmā, latency haʻahaʻa loa, hoʻokele i kahi papa inoa hoʻohālike nui me nā pale i hoʻohui ʻia, a maʻalahi hoʻi e holo ma ke ʻano he pahu āu e hoʻokipa ai iā ʻoe iho. Inā makemake ʻoe i kahi proxy open-source i hōʻoia ʻia e kūkulu ai, ʻo ia kekahi o nā wahi hoʻomaka kaulana loa no ke kumu maikaʻi.
ʻO ke akahele kahi e hāʻule ai ka laina ma waena o ka manuahi a me ka uku. Hāʻawi ka hale hana hoʻokipa ponoʻī iā ʻoe i ka papa ala a me ka hilinaʻi, akā ʻo ka mālama ʻike a me nā dashboards, ke komo ʻana i nā kuleana he nui o ka hui, ka caching semantic ma ka pae nui, a me ke kākoʻo ʻoihana e noho ana ma ka pae hoʻokipa a ʻoihana paha. No laila hoʻokipa ponoʻī ia e like me kahi router; ʻo ka stack hoʻomalu piha ke ʻano o ka hoʻolālā uku ʻia.
ʻOi loa no: nā hui e makemake ana i kahi papa ala hele lean a hoʻokipa ponoʻī ʻia. E makaʻala: e hōʻoia i nā hiʻohiʻona hoʻomalu e noho ana ma ke kūkulu hāmama ma mua o kou hoʻonohonoho ʻana ma luna.
3. Envoy AI Gateway — ke kūlana hāmama i kākoʻo ʻia e CNCF
Hoʻonui ʻo Envoy AI Gateway i ka papahana Envoy Gateway a CNCF me ke kākoʻo kūloko no ke kaʻa AI, a ua hōʻea i kahi 1.0 paʻa i ka makahiki 2026. Hana ʻia a mālama ʻia e Tetrate me Bloomberg, ʻo ia ka puka komo AI open-source mua i kākoʻo ʻia e CNCF, he mea nui inā mālama ʻoe i ke aupuni kūʻokoʻa-mea kūʻai aku a me kahi papahana i kāohi ʻole ʻia e kahi mea kūʻai aku kalepa hoʻokahi.
Hāʻawi ia i kahi interface OpenAI-kūpono ma waena o nā mea hoʻolako kumu hoʻohālike nui, me ke ala ʻana, ka failover, a me ka OpenTelemetry GenAI tracing ma waena o ke kamaʻilio ʻana, nā embeddings, a me nā endpoints ʻē aʻe. Ke holo nei ʻo Bloomberg iā ia i ka hana ʻana. ʻO ke kūʻē ʻana, he polokalamu ia no ke kahua: ikaika a kūlike me nā kūlana, akā manaʻo ia i kahi hui e ʻoluʻolu e hana iā Envoy a me Kubernetes, a ʻoi aku ka DIY o nā pono kiʻekiʻe ma mua o kahi kahua i hoʻokele ʻia.
ʻOi loa no: nā hui kahua e makemake ana i kahi puka komo CNCF-standard, Envoy-based a lākou e kāohi piha ai. E makaʻala: hoʻolālā kālā no ka ʻike loea hana a Envoy lāua ʻo Kubernetes e koi nei.
4. ʻO Higress - kahi puka komo open-source kiʻekiʻe, AI-native
Ua hoʻomaka ʻo Higress ma loko o Alibaba, ua wehe ʻia ma lalo o Apache-2.0, a ua kūkulu ʻia ma luna o Istio lāua ʻo Envoy. Ua hoʻāʻo ʻia ma ke kaua ma ka pae nui, me ka hōʻoia hana e lawelawe ana i nā haneli haneli o nā noi i kēlā me kēia kekona a me nā hoʻololi hoʻonohonoho e hoʻokō ʻia i loko o milliseconds ma mua o ka koi ʻana i nā hoʻouka hou hoʻopilikia.
Ma ka ʻaoʻao AI, kākoʻo ia i nā mea hoʻolako kumu hoʻohālike nui, hiki ke hoʻokipa i nā kikowaena MCP ma o kāna ʻano plugin i hiki i nā ʻelele ke kāhea i nā mea hana, a hāʻawi i ka hoʻokele hoʻokahi no nā LLM a me MCP API, me WAF a me nā ʻano hoʻolālā hōʻoia. He koho maikaʻi loa ia inā ʻo ka hana maka a me kahi kumu throughput kiʻekiʻe i hōʻoia ʻia kāu mau mea nui. E like me nā papahana ʻē aʻe i hoʻomaka mua ʻia e ke kahua, ʻoi aku ka māmā o ke aupuni kiʻekiʻe a me ka polish huahana ma mua o kahi kahua ʻoihana i hoʻolaʻa ʻia, a ʻo ke kikowaena kaiāulu o ka umekaumaha ʻaʻole paha i maʻa iki i kekahi mau hui Komohana.
ʻOi loa no: nā hui e pono ai kahi puka komo AI-native ākea piha, ākea piha. E makaʻala: e hōʻuluʻulu ʻoe i nā mea hou aku o ka papa hoʻomalu iā ʻoe iho.
5. Gloo AI Gateway — Hoʻokumu ʻia ma luna o ka ʻelele a me Kubernetes-kūmole
ʻO Gloo AI Gateway, mai Solo.io, kūkulu i ka hoʻokele kalepa AI ma luna o kahi puka komo Envoy- a me Kubernetes-native makua. Hoʻolālā ia i nā pono kikoʻī o ke kalepa LLM: ka mālama ʻana i ka semantic, ka palena ʻana i ka helu token, ka hoʻonui wikiwiki ʻana, ka hoʻokomo ʻana i nā palapala hōʻoia ma o nā mea huna Kubernetes, a me ka pale ʻana i ka exfiltration data e pale i ka ʻike koʻikoʻi mai ka leaka ʻana. Ua hāʻawi ʻo Solo.io i kāna puka komo open-source i ka CNCF (ma ke ʻano he kgateway), no laila aia kahi kikowaena wehe maoli.
Hoʻohālikelike ke ʻano o ka nuance i ke ʻano ma kēia papa inoa: ʻo kekahi o nā hiki LLM-kikoʻī, e like me ka palena ʻana i ka uku hōʻailona, he ʻāpana maʻamau ia o ka laikini ʻoihana ma mua o ke kumu manuahi. Inā ua holo mua ʻoe iā Kubernetes a makemake ʻoe i kahi puka komo e pili ana iā Envoy e mālama ana i ke kaʻa AI ma ke ʻano he kamaʻāina papa mua, he kūpono ikaika ia inā ʻoe e hoʻopaʻa i nā hiʻohiʻona āu e pono ai i ka pae kūpono.
ʻOi loa no: Nā hui Kubernetes-nui e makemake ana i kahi puka komo e pili ana iā Envoy me nā hiʻohiʻona kalepa AI. E makaʻala: e nānā i nā hiʻohiʻona LLM e pono ai ka hoʻopuka ʻoihana.
Pehea e koho
Inā makemake ʻoe i kahi papahana open-source maʻemaʻe e holo a hoʻokele iā ʻoe iho, hāʻawi ʻo Envoy AI Gateway lāua ʻo Higress iā ʻoe i nā ʻōnaehana hana kiʻekiʻe i kūlike i nā kūlana, a he koho ikaika ʻo Gloo ke kūpaʻa mua ʻoe iā Envoy ma Kubernetes. ʻO Portkey ke ala māmā loa e hoʻokipa ponoʻī i kahi papa routing, inā ʻoe e ʻae i nā palena tier. A inā ʻo ka mea āu e pono ai he ʻikepili e noho ana i loko o kāu ao ponoʻī me ka hoʻokele piha ʻana o ka ʻoihana a me ke kākoʻo ma hope ona, ʻo TrueFoundry ke koho e hāʻawi iā ʻoe i ke kūlana hoʻokipa ponoʻī me ka ʻole o ka noi ʻana iā ʻoe e kūkulu i ka papa hoʻokele ponoʻī.
Ka lalo laina
ʻO ka hoʻokipa ponoʻī ʻana i kahi puka komo AI ma mua, ʻo ia hoʻi ka hāʻawi ʻana i nā hiʻohiʻona no ka mana. I ka makahiki 2026, ʻaʻole ia he ʻoiaʻiʻo hou: hiki iā ʻoe ke loaʻa i kahi kūlana wehe CNCF-backed, kahi kikowaena AI-native kiʻekiʻe-throughput, a i ʻole kahi kahua ʻoihana i hoʻomalu piha ʻia e holo ana i loko o kou wahi ponoʻī. ʻO ke koho kūpono e iho i lalo i ka nui o kou makemake e hoʻokele iā ʻoe iho e kūʻē i ka nui o ke aupuni āu e makemake ai ma waho o ka pahu. No nā hui e makemake ana i ka mana a me ka hohonu, ʻo TrueFoundry ka mea e lanakila ai.
