Շատ թիմերի համար արհեստական բանականության դարպասի վերաբերյալ առաջին հարցը «ինչ կարող է անել» չէ, այլ «որտե՞ղ է այն աշխատում»։ Եթե դուք աշխատում եք կարգավորվող ոլորտում, մշակում եք զգայուն տվյալներ կամ պարզապես ալերգիկ եք յուրաքանչյուր հուշում և պատասխան ուրիշի ամպի միջոցով ուղարկելուն, հյուրընկալված SaaS դարպասը լավ տարբերակ չէ՝ անկախ նրանից, թե որքան հղկված է այն։ Դուք ցանկանում եք մի բան, որը կարող եք աշխատեցնել ձեր սեփական ենթակառուցվածքի ներսում, ստուգել և վերահսկել։
Լավ լուրն այն է, որ այս շուկայի բաց կոդով և ինքնահոսթինգային կողմը իսկապես ուժեղացել է: Արհեստական բանականության դարպասը ձեր ծրագրերի և ձեր մոդել մատակարարների միջև կառավարման հարթակ է, որը մեկ տեղում կարգավորում է երթուղայնացումը, հուսալիությունը, անվտանգությունը և արժեքը, և լավագույններից մի քանիսը այժմ առաքվում են որպես ծրագրակազմ, որը կարող եք ինքնուրույն հոսթինգ անել: Ահա հինգ տարբերակ, որոնք արժե ընտրել, երբ ինքնահոսթինգը պարտադիր է, այլ ոչ թե ցանկալի:
Ի՞նչ պետք է նշանակի «ինքնասպասարկման համար հարմար» բառը
Ցանկից առաջ՝ մի քանի խոսք թակարդի մասին։ «Բաց կոդով» և «ինքնակառավարվող» բառերը նույնը չեն, և ոչ մեկը չի երաշխավորում, որ ձեզ անհրաժեշտ գործառույթը կլինի անվճար տարբերակում։ Որոշ նախագծեր բաց կոդով ապահովում են արագ երթուղայնացման միջուկ, բայց կառավարումը, դիտարկելիության պահեստավորումը և բազմաթիմ մուտքի վերահսկողությունը պահում են վճարովի տարբերակում։ Այսպիսով, գնահատեք երեք բան առանձին՝ արդյոք ծրագիրն աշխատում է ձեր սեփական միջավայրում, արդյոք ձեզ անհրաժեշտ հատուկ հնարավորությունները գտնվում են այն տարբերակում, որը կարող եք ինքնուրույն հյուրընկալել, և արդյոք տվյալները իրականում մնում են ձեր ենթակառուցվածքում։ Այդ տեսանկյունից, ահա, թե ինչպես են այս հինգը համեմատվում։
1. TrueFoundry — ձեռնարկության կառավարման հարթակ, որը դուք գործարկում եք ձեր սեփական ամպում
TrueFoundry-ն գլխավորում է այս ցանկը, քանի որ այն ստեղծվել է հենց այն սահմանափակման համար, որը թիմերին մղում է ինքնահոսթինգի՝ տվյալները պահելով ձեր սեփական միջավայրում՝ առանց հրաժարվելու ձեռնարկության հնարավորություններից: Դրա AI Gateway-ը տեղակայվում է ձեր սեփական ամպի կամ VPC-ի ներսում, այնպես որ հարցումներն ու հետքերը մնում են ձեր ենթակառուցվածքի տարածաշրջան առ տարածաշրջան, միաժամանակ ձեզ տրամադրելով OpenAI-ի հետ համատեղելի մեկ ինտերֆեյս 1,000+ մոդելների համար, բեռի հավասարակշռում և պահեստային տարբերակներ, լիարժեք պաշտպանիչ ցանկապատերի հավաքածու, դերերի վրա հիմնված մուտք, բյուջեներ և OpenTelemetry դիտարկելիություն:
Այն նաև ավելի լայն հնարավորություններ է ընձեռում, քան պարզապես պրոքսի սերվերը։ TrueFoundry-ն կառավարում է MCP սերվերներն ու գործակալները նույն կառավարման հարթության միջոցով, իսկ դրա գործակալների համակարգը՝ TrueForge-ը, բաց կոդով է և չեզոք մատակարարներից, ուստի այն մասերը, որոնք դուք կցանկանայիք ստուգել և ընդլայնել, բաց են, մինչդեռ հարթակն ինքնին աշխատում է այնտեղ, որտեղ ձեզ անհրաժեշտ է։ Այն թիմերի համար, որոնք ցանկանում են բաց կոդով նախագծի ինքնահոսթինգի դիրքը, բայց ձեռնարկությունների հարթակի խորությունն ու աջակցությունը, սա այն համադրությունն է, որը դժվար է գտնել այլուր։ Օրինակ՝ FloQast-ը այն ամբողջությամբ գործարկում է իր սեփական ամպի ներսում՝ ֆինանսական տվյալները ԱՄՆ-ում, ԵՄ-ում և Ասիա-խաղաղօվկիանոսյան տարածաշրջաններում պահելու համար, որի մասին կարող եք կարդալ TrueFoundry-ի AI Gateway փաստաթղթերում և ուսումնասիրություններում։
Լավագույնն այն ձեռնարկությունների համար, որոնք իրենց համար դարպասը գործարկելիս տվյալների պահպանման և լիարժեք կառավարման կարիք ունեն: Զգուշացե՛ք. սա հարուստ հարթակ է, ուստի պլանավորեք դրա ներդրումը՝ հինգ րոպեանոց տեղադրման սպասելու փոխարեն:
2. Portkey — արագ, հայտնի բաց կոդով ռաութինգային միջուկ
Portkey-ն իր դարպասը բաց կոդով է գործարկել MIT լիցենզիայի ներքո, և միջուկը իսկապես լավ ինժեներական աշխատանք է. թեթև, շատ ցածր ավելացված լատենտությամբ, մեծ մոդելների կատալոգի երթուղայնացում՝ ինտեգրված պաշտպանիչ ցանկապատերով, և հեշտ է գործարկել որպես ձեր սեփական հոսթինգի կոնտեյներ: Եթե ցանկանում եք ապացուցված բաց կոդով պրոքսի՝ հիմք ընդունելու համար, այն ամենատարածված մեկնարկային կետերից մեկն է լավ պատճառով:
Զգուշացումն այն է, թե որտեղ է անցնում անվճարի և վճարովիի միջև սահմանը։ Ինքնահոսթինգային տարբերակը ձեզ տալիս է երթուղայնացման և հուսալիության շերտ, բայց դիտարկելիության պահեստը և վահանակները, բազմաթիմային դերերի վրա հիմնված մուտքը, մեծ մասշտաբով սեմանտիկ քեշավորումը և ձեռնարկության աջակցությունը տեղակայված են հյուրընկալված կամ ձեռնարկության մակարդակում։ Այսպիսով, այն ինքնահոսթինգ է անում ինչպես ռաութերը. լիարժեք կառավարման փաթեթը սովորաբար նշանակում է վճարովի պլան։
Լավագույնն է այն թիմերի համար , որոնք ցանկանում են ունենալ պարզ, ինքնուրույն հոսթինգով կառավարվող երթուղավորման շերտ։ Ուշադրություն. նախքան ստանդարտացնելը, ստուգեք, թե որ կառավարման գործառույթներն են առկա բաց կառուցվածքում։
3. Envoy AI Gateway — CNCF-ի կողմից աջակցվող բաց ստանդարտ
Envoy AI Gateway-ը ընդլայնում է CNCF-ի Envoy Gateway նախագիծը՝ արհեստական ինտելեկտի տրաֆիկի բնիկ աջակցությամբ, և այն հասավ կայուն 1.0 տարբերակի 2026 թվականին: Ստեղծվել և սպասարկվել է Tetrate-ի և Bloomberg-ի համատեղ կողմից, սա CNCF-ի կողմից աջակցվող առաջին բաց կոդով արհեստական ինտելեկտի դարպասն է, որը կարևոր է, եթե դուք հոգ եք տանում մատակարարների չեզոք կառավարման և այն նախագծի մասին, որը չի վերահսկվում մեկ առևտրային մատակարարի կողմից:
Այն առաջարկում է OpenAI-ի հետ համատեղելի ինտերֆեյս հիմնական մոդել մատակարարների համար, գումարած երթուղայնացում, ձախողում և OpenTelemetry GenAI հետևում չաթում, ներդրված համակարգերում և այլ վերջնակետերում: Bloomberg-ն այն արդեն գործարկում է արտադրության մեջ: Փոխզիջումն այն է, որ այն ենթակառուցվածքային մակարդակի ծրագրային ապահովում է՝ հզոր և ստանդարտներին համապատասխան, բայց այն ակնկալում է թիմ, որը հարմարավետ կկառավարի Envoy-ն և Kubernetes-ը, իսկ բարձր մակարդակի հարմարությունները ավելի շատ ինքնուրույն են, քան կառավարվող հարթակում:
Լավագույնն է՝ հարթակային թիմերի համար, որոնք ցանկանում են CNCF ստանդարտի, Envoy-ի վրա հիմնված դարպաս, որը նրանք լիովին վերահսկում են։ Ուշադրություն դարձրեք՝ բյուջեն Envoy-ի և Kubernetes-ի պահանջվող գործառնական փորձագիտության համար։
4. Higress — բարձրակարգ, արհեստական բանականությամբ հագեցած բաց կոդով դարպաս
Higress-ը սկսվել է Alibaba-ի ներսում, բաց կոդով էր Apache-2.0-ի ներքո և կառուցված է Istio-ի և Envoy-ի վրա: Այն փորձարկվել է մեծ մասշտաբով, արտադրական վավերացումը մշակում է վայրկյանում հարյուր հազարավոր հարցումներ, իսկ կոնֆիգուրացիայի փոփոխությունները ուժի մեջ են մտնում միլիվայրկյանների ընթացքում՝ առանց խափանող վերաբեռնումներ պարտադրելու:
Արհեստական բանականության տեսանկյունից այն աջակցում է հիմնական մոդելային մատակարարներին, կարող է հյուրընկալել MCP սերվերներ իր պլագին մեխանիզմի միջոցով, որպեսզի գործակալները կարողանան կանչել գործիքներ, և ապահովում է միասնական կառավարում ինչպես LLM, այնպես էլ MCP API-ների համար՝ WAF-ի և մի շարք նույնականացման ռազմավարությունների հետ միասին: Այն հիանալի ընտրություն է, եթե ձեր առաջնահերթությունները հում արտադրողականությունն ու ապացուցված բարձր թողունակության միջուկն են: Ինչպես մյուս ենթակառուցվածքային նախագծերի դեպքում, բարձր մակարդակի կառավարումը և արտադրանքի հղկումը ավելի թեթև են, քան նվիրված ձեռնարկության հարթակը, և համայնքի ծանրության կենտրոնը կարող է ավելի քիչ ծանոթ լինել որոշ արևմտյան թիմերի համար:
Լավագույնն է՝ այն թիմերի համար, որոնց անհրաժեշտ է բարձր թողունակությամբ, լիովին բաց կոդով արհեստական բանականության վրա հիմնված դարպաս։ Զգուշացե՛ք. կառավարման շերտի մեծ մասը դուք ինքներդ կհավաքեք։
5. Gloo AI Gateway — Envoy-ի վրա հիմնված և Kubernetes-ի բնիկ
Solo.io-ի Gloo AI Gateway-ը կառուցում է արհեստական բանականության երթևեկության կառավարում՝ Envoy- և Kubernetes-բնիկ դարպասի վրա հիմնված հասուն համակարգ։ Այն ուղղված է LLM երթևեկության կոնկրետ կարիքներին՝ սեմանտիկ քեշավորում, տոկենների վրա հիմնված արագության սահմանափակում, արագ հարստացում, Kubernetes գաղտնիքների միջոցով հավատարմագրերի ներարկում և տվյալների արտահոսքի պաշտպանություն՝ զգայուն տեղեկատվության արտահոսքը կանխելու համար։ Solo.io-ն իր բաց կոդով դարպասը նվիրաբերել է CNCF-ին (որպես kgateway), որպեսզի լինի իսկական բաց միջուկ։
Այս ցանկի նրբերանգը արտացոլում է այս օրինաչափությունը. LLM-ի որոշ հնարավորություններ, ինչպիսիք են տոկենների վրա հիմնված արագության սահմանափակումը, սովորաբար ձեռնարկության լիցենզիայի մաս են կազմում, այլ ոչ թե անվճար միջուկի: Եթե դուք արդեն օգտագործում եք Kubernetes և ցանկանում եք Envoy-ի վրա հիմնված դարպաս, որը արհեստական բանականության երթևեկությունը կընդունի որպես առաջին կարգի քաղաքացի, ապա դա լավ տարբերակ է, եթե դուք համապատասխանեցնեք ձեզ անհրաժեշտ գործառույթները ճիշտ մակարդակին:
Լավագույնն է. Kubernetes-ով ծանրաբեռնված թիմերի համար, որոնք ցանկանում են Envoy-ի վրա հիմնված դարպաս՝ արհեստական բանականության երթևեկության հնարավորություններով: Ուշադրություն. ստուգեք, թե որ LLM հնարավորություններն են պահանջում Enterprise տարբերակը:
Ինչպես ընտրել
Եթե ցանկանում եք մաքուր բաց կոդով նախագիծ, որը կարող եք ինքներդ գործարկել և շահագործել, Envoy AI Gateway-ը և Higress-ը ձեզ տրամադրում են ստանդարտներին համապատասխանող, բարձր արդյունավետությամբ միջուկներ, իսկ Gloo-ն լավ ընտրություն է, երբ արդեն իսկ նվիրված եք Kubernetes-ի Envoy-ին: Portkey-ն ռոուտինգային շերտը ինքնուրույն հոսթինգի ենթարկելու ամենահեշտ ձևն է, եթե ընդունեք մակարդակի սահմանները: Եվ եթե ձեզ իրականում անհրաժեշտ է տվյալները պահել ձեր սեփական ամպում՝ ձեռնարկության լիարժեք կառավարմամբ և աջակցությամբ, TrueFoundry-ն այն տարբերակն է, որը ձեզ տալիս է ինքնուրույն հոսթինգի դիրք՝ առանց ձեզնից պահանջելու ինքնուրույն կառուցել կառավարման փաթեթը:
Ներքեւի գծի
Արհեստական բանականության դարպասի ինքնակառավարումը նախկինում նշանակում էր հրաժարվել գործառույթներից՝ վերահսկողության համար: 2026 թվականին դա այլևս ճիշտ չէ. դուք կարող եք ձեռք բերել CNCF-ով հենված բաց ստանդարտ, բարձր թողունակությամբ արհեստական բանականության վրա հիմնված միջուկ կամ լիովին կառավարվող ձեռնարկության հարթակ, որը գործում է ձեր սեփական միջավայրում: Ճիշտ ընտրությունը կախված է նրանից, թե որքան եք ուզում ինքներդ գործել, թե որքան եք ուզում ինքնուրույն կառավարել: Այն թիմերի համար, որոնք ցանկանում են և՛ վերահսկողություն, և՛ խորություն, TrueFoundry-ն է լավագույնը:
