အဖွဲ့အများစုအတွက် AI gateway အကြောင်း ပထမဆုံးမေးခွန်းက "ဘာလုပ်နိုင်လဲ" မဟုတ်ဘဲ "ဘယ်မှာလည်ပတ်လဲ" ဆိုတာပါ။ သင်ဟာ စည်းမျဉ်းစည်းကမ်းတွေနဲ့ လည်ပတ်နေတဲ့ လုပ်ငန်းတစ်ခုမှာ ရှိနေတယ်ဆိုရင်၊ အရေးကြီးတဲ့ ဒေတာတွေကို ကိုင်တွယ်နေရတယ်ဆိုရင် ဒါမှမဟုတ် တခြားသူတစ်ယောက်ရဲ့ cloud ကနေတစ်ဆင့် prompt နဲ့ response တိုင်းကို ပေးပို့ရတာကို ဓာတ်မတည့်ဘူးဆိုရင်၊ Hosted SaaS gateway ဟာ ဘယ်လောက်ပဲ ချောမွေ့နေပါစေ မလိုအပ်ပါဘူး။ သင့်ရဲ့ကိုယ်ပိုင် infrastructure အတွင်းမှာ လည်ပတ်နိုင်တဲ့၊ စစ်ဆေးနိုင်တဲ့၊ ထိန်းချုပ်နိုင်တဲ့ တစ်ခုခုကို သင်လိုချင်ပါတယ်။
သတင်းကောင်းကတော့ ဒီဈေးကွက်ရဲ့ open-source နဲ့ self-hosting နယ်ပယ်ဟာ တကယ်ကို ခိုင်မာလာပါပြီ။ AI gateway ဆိုတာ သင့်ရဲ့ application တွေနဲ့ model provider တွေကြားက control plane ဖြစ်ပြီး routing၊ reliability၊ security နဲ့ cost တွေကို တစ်နေရာတည်းမှာ ကိုင်တွယ်ပေးပါတယ်။ အကောင်းဆုံး software တွေထဲက အတော်များများကို ကိုယ်တိုင် host လုပ်နိုင်တဲ့ software အနေနဲ့ ပို့ပေးပါတယ်။ self-hosting ဟာ မရှိမဖြစ်လိုအပ်တဲ့အရာဖြစ်ပြီး ရှိထားသင့်တဲ့ software မဟုတ်ဘဲ လိုအပ်ချက်တစ်ခုဖြစ်တဲ့အခါ ရွေးချယ်သင့်တဲ့ shortlist ငါးခုကို ဖော်ပြပေးလိုက်ပါတယ်။
“ကိုယ်တိုင် ဧည့်ခံနိုင်သည်” ဆိုသည်မှာ အမှန်တကယ် ဘာကို ဆိုလိုသင့်သနည်း။
စာရင်းမစခင်မှာ ထောင်ချောက်အကြောင်း အမြန်ပြောပါရစေ။ "Open source" နဲ့ "self-hostable" တို့ဟာ အတူတူပဲ မဟုတ်သလို သင်လိုအပ်တဲ့ feature ဟာ free build မှာ ရှိမယ်လို့ အာမ မခံနိုင်ပါဘူး။ တချို့ project တွေက open-source ဖြစ်ပြီး fast routing core တစ်ခုဖြစ်ပေမယ့် governance, observability storage နဲ့ multi-team access control တွေကို paid tier မှာ ထားရှိပါတယ်။ ဒါကြောင့် အချက်သုံးချက်ကို သီးခြားစီ အကဲဖြတ်ပါ- software က သင့်ကိုယ်ပိုင် environment မှာ run သလား၊ သင်လိုအပ်တဲ့ သီးခြားစွမ်းရည်တွေက သင် self-host လုပ်နိုင်တဲ့ version မှာ ရှိမရှိ၊ နဲ့ data တွေက သင့်ရဲ့ infrastructure မှာ end to end ရှိနေသလားဆိုတာပါ။ အဲဒီ lens နဲ့ဆိုရင် ဒီငါးခုကို ဘယ်လိုနှိုင်းယှဉ်ကြည့်မလဲ။
၁။ TrueFoundry — သင့်ကိုယ်ပိုင် cloud တွင် သင်လည်ပတ်သော enterprise control plane
TrueFoundry က ဒီစာရင်းကို ဦးဆောင်နေတာက အဖွဲ့တွေကို self-hosting ဘက်ကို တွန်းအားပေးတဲ့ ကန့်သတ်ချက်အတွက် တည်ဆောက်ထားလို့ပါ။ အဲဒါကတော့ enterprise capability ကို မစွန့်လွှတ်ဘဲ ကိုယ့်ပတ်ဝန်းကျင်မှာ data တွေကို သိမ်းဆည်းထားဖို့ပါပဲ။ သူ့ရဲ့ AI Gateway က ကိုယ့်ရဲ့ cloud ဒါမှမဟုတ် VPC အတွင်းမှာ deploy လုပ်တာကြောင့် prompts တွေနဲ့ traces တွေက ကိုယ့်ရဲ့ infrastructure region အလိုက် ရှိနေမှာဖြစ်ပြီး model ၁၀၀၀+ အတွက် OpenAI နဲ့ တွဲဖက်အသုံးပြုနိုင်တဲ့ interface တစ်ခု၊ load balancing နဲ့ fallbacks၊ full guardrails suite၊ role-based access၊ budgets နဲ့ OpenTelemetry observability တွေကို ပေးစွမ်းနိုင်မှာပါ။
၎င်းသည် သန့်စင်သော proxy ထက်ပို၍လည်း ရောက်ရှိပါသည်။ TrueFoundry သည် MCP server များနှင့် agent များကို တူညီသော control plane မှတစ်ဆင့် ထိန်းချုပ်ပြီး ၎င်း၏ agent harness ဖြစ်သော TrueForge သည် open source ဖြစ်ပြီး vendor-neutral ဖြစ်သောကြောင့် သင်စစ်ဆေးပြီး တိုးချဲ့လိုသော အပိုင်းအစများသည် platform ကိုယ်တိုင်က သင်လိုအပ်သည့်နေရာတွင် လည်ပတ်နေစဉ်တွင် ပွင့်နေပါသည်။ open-source project ၏ self-hosting အနေအထားကို လိုချင်သော်လည်း enterprise platform ၏ နက်ရှိုင်းမှုနှင့် ပံ့ပိုးမှုကို လိုချင်သော အဖွဲ့များအတွက်၊ ဤပေါင်းစပ်မှုသည် အခြားနေရာတွင် ရှာရန်ခက်ခဲပါသည်။ ဥပမာအားဖြင့် FloQast သည် US၊ EU နှင့် APAC ဒေသများတွင် ဘဏ္ဍာရေးဒေတာများကို ထိန်းသိမ်းထားရန် ၎င်း၏ကိုယ်ပိုင် cloud အတွင်းတွင် အပြည့်အဝလည်ပတ်ပြီး TrueFoundry ၏ AI Gateway စာရွက်စာတမ်းများ နှင့် case studies များတွင် ဖတ်ရှုနိုင်ပါသည်။
အကောင်းဆုံးကတော့ gateway ကိုယ်တိုင်လည်ပတ်နေချိန်မှာ data residency နဲ့ full governance လိုအပ်နေတဲ့ enterprise တွေအတွက်ပါ။ သတိထားရမှာက rich platform တစ်ခုဖြစ်တာကြောင့် ငါးမိနစ်အတွင်း install လုပ်မယ်လို့ မမျှော်လင့်ဘဲ ဖြန့်ချိမှုကို စီစဉ်ပါ။
၂။ Portkey — မြန်ဆန်ပြီး ရေပန်းစားသော open-source routing core တစ်ခု
Portkey ဟာ MIT လိုင်စင်အောက်မှာ သူ့ရဲ့ gateway ကို open-source လုပ်ထားပြီး အဓိကအားဖြင့် တကယ့်ကို ကောင်းမွန်တဲ့ အင်ဂျင်နီယာပညာတစ်ခုပါပဲ- ပေါ့ပါးမှု၊ ထပ်ဆောင်း latency အလွန်နည်းပါးမှု၊ integrated guardrails တွေပါတဲ့ မော်ဒယ်ကတ်တလောက်ကြီးတစ်ခုဆီ routing လုပ်မှုနဲ့ ကိုယ်တိုင် host လုပ်ထားတဲ့ container အနေနဲ့ run ရတာလွယ်ကူမှုတို့ပဲ ဖြစ်ပါတယ်။ သက်သေပြနိုင်တဲ့ open-source proxy တစ်ခုကို တည်ဆောက်ချင်တယ်ဆိုရင်တော့ ဒါဟာ ကောင်းမွန်တဲ့ အကြောင်းပြချက်တစ်ခုဖြစ်ပြီး အလွန်ရေပန်းစားတဲ့ စတင်ရာနေရာတွေထဲက တစ်ခုဖြစ်ပါတယ်။
သတိပေးချက်ကတော့ အခမဲ့နဲ့ အခကြေးငွေပေးရတဲ့ နှစ်ခုကြားက မျဉ်းကြောင်းပါ။ self-hosted build က routing နဲ့ reliability layer ကို ပေးပေမယ့် observability storage နဲ့ dashboards၊ multi-team role-based access၊ semantic caching at large scale နဲ့ enterprise support တွေကတော့ hosted ဒါမှမဟုတ် enterprise tier မှာ ရှိပါတယ်။ ဒါကြောင့် router အနေနဲ့ self-host လုပ်ရင် ရပါတယ်။ full governance stack ဆိုတာ paid plan ကို ဆိုလိုပါတယ်။
အကောင်းဆုံးအတွက်- ပါးလွှာပြီး self-hosted routing layer ကို လိုချင်တဲ့ အဖွဲ့တွေအတွက်ပါ။ သတိထားရန်- open build မှာ ဘယ် governance features တွေ ရှိနေလဲဆိုတာကို standardize မလုပ်ခင် အတည်ပြုပါ။
၃။ Envoy AI Gateway — CNCF မှ ကျောထောက်နောက်ခံပေးထားသော ပွင့်လင်းစံနှုန်း
Envoy AI Gateway သည် CNCF ၏ Envoy Gateway ပရောဂျက်ကို AI traffic အတွက် native support ဖြင့် တိုးချဲ့ခဲ့ပြီး ၂၀၂၆ ခုနှစ်တွင် တည်ငြိမ်သော 1.0 သို့ ရောက်ရှိခဲ့သည်။ Bloomberg နှင့် Tetrate မှ ဖန်တီးထိန်းသိမ်းသော ၎င်းသည် CNCF မှ ကျောထောက်နောက်ခံပေးထားသော ပထမဆုံး open-source AI gateway ဖြစ်ပြီး vendor-neutral governance နှင့် တစ်ခုတည်းသော commercial vendor မှ ထိန်းချုပ်မထားသော ပရောဂျက်ကို သင်ဂရုစိုက်ပါက ၎င်းသည် အရေးပါပါသည်။
၎င်းသည် အဓိက မော်ဒယ်ပံ့ပိုးပေးသူများအားလုံးတွင် OpenAI နှင့် တွဲဖက်အသုံးပြုနိုင်သော interface တစ်ခုအပြင် chat၊ embeddings နှင့် အခြား endpoints များတစ်လျှောက် routing၊ failover နှင့် OpenTelemetry GenAI tracing တို့ကို ပေးဆောင်ပါသည်။ Bloomberg သည် ၎င်းကို production တွင် run ပြီးဖြစ်သည်။ အပေးအယူမှာ ၎င်း၏ infrastructure-grade software ဖြစ်သည်- အစွမ်းထက်ပြီး စံချိန်စံညွှန်းများနှင့် ကိုက်ညီသော်လည်း Envoy နှင့် Kubernetes ကို အဖွဲ့လိုက် သက်တောင့်သက်သာ လည်ပတ်နိုင်ရန် မျှော်လင့်ပြီး အဆင့်မြင့် အဆင်ပြေမှုများသည် managed platform ထက် ပိုမို DIY ဖြစ်သည်။
အကောင်းဆုံးအတွက်- CNCF-standard၊ Envoy-based gateway ကို ၎င်းတို့ အပြည့်အဝထိန်းချုပ်လိုသော platform team များအတွက်။ သတိပြုရန်- Envoy နှင့် Kubernetes မှ တောင်းဆိုသော operational expertise အတွက် ဘတ်ဂျက်။
၄။ Higress — အဆင့်မြင့်၊ AI-native open-source gateway တစ်ခု
Higress သည် Alibaba တွင် စတင်ခဲ့ပြီး Apache-2.0 အောက်တွင် open-sourced ဖြစ်ခဲ့ပြီး Istio နှင့် Envoy ပေါ်တွင် တည်ဆောက်ထားသည်။ ၎င်းသည် ထုတ်လုပ်မှုဆိုင်ရာ အတည်ပြုချက်သည် တစ်စက္ကန့်လျှင် တောင်းဆိုမှု ရာပေါင်းများစွာကို ကိုင်တွယ်ဖြေရှင်းပေးပြီး အနှောင့်အယှက်ဖြစ်စေသော ပြန်လည်ဖြည့်တင်းမှုများကို အတင်းအကျပ်မလုပ်ဘဲ မီလီစက္ကန့်အတွင်း အကျိုးသက်ရောက်သည့် configuration ပြောင်းလဲမှုများဖြင့် ကြီးမားသော အတိုင်းအတာဖြင့် တိုက်ပွဲတွင် စမ်းသပ်ထားပြီးဖြစ်သည်။
AI ဘက်မှာတော့ mainstream model provider တွေကို ပံ့ပိုးပေးပြီး agent တွေက tool တွေကို ခေါ်ဆိုနိုင်အောင် plugin mechanism မှတစ်ဆင့် MCP server တွေကို host လုပ်နိုင်သလို WAF နဲ့ authentication strategy အမျိုးမျိုးနဲ့အတူ LLM နဲ့ MCP API နှစ်ခုလုံးအတွက် unified management ကို ပံ့ပိုးပေးပါတယ်။ raw performance နဲ့ proven high-throughput core ကို ဦးစားပေးမယ်ဆိုရင် အကောင်းဆုံးရွေးချယ်မှုပါပဲ။ တခြား infrastructure-first project တွေလိုပဲ high-level governance နဲ့ product polish တွေက dedicated enterprise platform ထက် ပိုပေါ့ပါးပြီး community center of gravity က အနောက်တိုင်းအဖွဲ့တချို့နဲ့ သိပ်မရင်းနှီးပါဘူး။
အကောင်းဆုံးကတော့ - မြင့်မားတဲ့ throughput၊ အပြည့်အဝ open-source AI-native gateway လိုအပ်နေတဲ့ အဖွဲ့တွေအတွက်ပါ။ သတိထားရမှာက - အုပ်ချုပ်မှုအလွှာကို သင်ကိုယ်တိုင် ပိုမိုစုစည်းရလိမ့်မယ်။
၅။ Gloo AI Gateway — Envoy-based နှင့် Kubernetes-native
Solo.io မှ Gloo AI Gateway သည် ရင့်ကျက်သော Envoy နှင့် Kubernetes-native gateway တစ်ခုပေါ်တွင် AI traffic management ကို တည်ဆောက်ထားသည်။ ၎င်းသည် LLM traffic ၏ သီးခြားလိုအပ်ချက်များကို ပစ်မှတ်ထားသည်- semantic caching၊ token-based rate limiting၊ prompt enrichment၊ Kubernetes secrets မှတစ်ဆင့် credential injection နှင့် အရေးကြီးသော အချက်အလက်များ ပေါက်ကြားခြင်းမှ ကာကွယ်ရန် data-exfiltration protection။ Solo.io သည် ၎င်း၏ open-source gateway ကို CNCF (kgateway အနေဖြင့်) သို့ လှူဒါန်းခဲ့သောကြောင့် စစ်မှန်သော open core တစ်ခုရှိသည်။
ဒီအသေးစိတ်အချက်အလက်တွေက ဒီစာရင်းထဲက ပုံစံကို ထင်ဟပ်စေပါတယ်- token-based rate limiting လိုမျိုး LLM-specific capabilities အချို့ဟာ free core မဟုတ်ဘဲ enterprise license ရဲ့ အစိတ်အပိုင်းတစ်ခု ဖြစ်လေ့ရှိပါတယ်။ Kubernetes ကို run ပြီးသားဖြစ်ပြီး AI traffic ကို first-class citizen အနေနဲ့ ဆက်ဆံတဲ့ Envoy-based gateway ကို လိုချင်ရင် ဘယ် features တွေ လိုအပ်လဲဆိုတာကို မှန်ကန်တဲ့ tier နဲ့ map လုပ်နိုင်ရင် သင့်တော်ပါတယ်။
အကောင်းဆုံးအတွက်- AI traffic features များပါရှိသော Envoy-based gateway ကို လိုချင်သော Kubernetes-heavy အဖွဲ့များအတွက် အကောင်းဆုံးဖြစ်သည်။ သတိပြုရန်- မည်သည့် LLM features များသည် enterprise edition လိုအပ်သည်ကို စစ်ဆေးပါ။
မည်သို့ရွေးချယ်ဖို့
ကိုယ်တိုင် လည်ပတ်ဖို့အတွက် သန့်စင်တဲ့ open-source project တစ်ခုကို လိုချင်တယ်ဆိုရင် Envoy AI Gateway နဲ့ Higress တို့က standard-aligned, high-performance core တွေကို ပေးစွမ်းနိုင်ပြီး Kubernetes မှာ Envoy ကို အသုံးပြုနေပြီဆိုရင် Gloo က အကောင်းဆုံးရွေးချယ်မှုတစ်ခုပါပဲ။ tier boundaries တွေကို လက်ခံမယ်ဆိုရင် Portkey က routing layer တစ်ခုကို self-host လုပ်ဖို့ အလွယ်ကူဆုံးနည်းလမ်းပါ။ တကယ်လိုအပ်တာက enterprise governance နဲ့ support အပြည့်အဝပါဝင်တဲ့ data တွေကို ကိုယ်ပိုင် cloud မှာ သိမ်းဆည်းထားဖို့ဆိုရင် TrueFoundry က governance stack ကို ကိုယ်တိုင်တည်ဆောက်ဖို့ မတောင်းဆိုဘဲ self-hosted posture ကို ပေးစွမ်းနိုင်တဲ့ option ပါ။
အောက်ခြေလိုင်း
AI gateway ကို ကိုယ်တိုင် hosting လုပ်တယ်ဆိုတာ ထိန်းချုပ်မှုအတွက် feature တွေကို စွန့်လွှတ်ရမယ်လို့ အရင်က အဓိပ္ပာယ်ဖွင့်ဆိုခဲ့ကြပါတယ်။ ၂၀၂၆ ခုနှစ်မှာတော့ အဲဒါ မဟုတ်တော့ပါဘူး။ CNCF-backed open standard၊ high-throughput AI-native core ဒါမှမဟုတ် ကိုယ်ပိုင် environment အတွင်းမှာ လည်ပတ်နိုင်တဲ့ fully governed enterprise platform တစ်ခုကို ရနိုင်ပါတယ်။ မှန်ကန်တဲ့ရွေးချယ်မှုကတော့ ကိုယ်တိုင် ဘယ်လောက်လည်ပတ်ချင်လဲ ဆိုတာနဲ့ box ထဲကနေ ဘယ်လောက်အုပ်ချုပ်ချင်လဲ ဆိုတာပေါ်မှာ မူတည်ပါတယ်။ ထိန်းချုပ်မှုနဲ့ depth နှစ်မျိုးလုံးကို လိုချင်တဲ့ အဖွဲ့တွေအတွက် TrueFoundry က အကောင်းဆုံးပါပဲ။
