২০২৬ সালের সেরা ওপেন-সোর্স এবং সেলফ-হোস্টেবল এআই গেটওয়েগুলি

অনেক দলের জন্য, একটি এআই গেটওয়ে সম্পর্কে প্রথম প্রশ্নটি "এটি কী করতে পারে" নয়, বরং "এটি কোথায় চলে"। আপনি যদি কোনো নিয়ন্ত্রিত শিল্পে থাকেন, সংবেদনশীল ডেটা নিয়ে কাজ করেন, অথবা অন্য কারো ক্লাউডের মাধ্যমে প্রতিটি নির্দেশ ও প্রতিক্রিয়া পাঠাতে না চান, তবে একটি হোস্টেড SaaS গেটওয়ে যতই উন্নত হোক না কেন, তা কোনোভাবেই গ্রহণযোগ্য নয়। আপনি এমন কিছু চাইবেন যা আপনি আপনার নিজস্ব পরিকাঠামোর ভেতরে চালাতে, পরীক্ষা করতে এবং নিয়ন্ত্রণ করতে পারবেন।

সুখবরটি হলো, এই বাজারের ওপেন-সোর্স এবং সেলফ-হোস্টেবল অংশটি বেশ শক্তিশালী হয়ে উঠেছে। একটি এআই গেটওয়ে হলো আপনার অ্যাপ্লিকেশন এবং মডেল প্রোভাইডারদের মধ্যেকার কন্ট্রোল প্লেন, যা রাউটিং, নির্ভরযোগ্যতা, নিরাপত্তা এবং খরচ এক জায়গায় সামলায়, এবং সেরাগুলোর মধ্যে বেশ কয়েকটি এখন সফটওয়্যার হিসেবে আসে যা আপনি নিজেই হোস্ট করতে পারেন। এখানে এমন পাঁচটি গেটওয়ের কথা বলা হলো, যেগুলো সংক্ষিপ্ত তালিকায় রাখার মতো, যখন সেলফ-হোস্টিং একটি আবশ্যকীয় বিষয়, কোনো ঐচ্ছিক সুবিধা নয়।

“সেলফ-হোস্টেবল” বলতে আসলে কী বোঝানো উচিত

তালিকার আগে, একটি ফাঁদ সম্পর্কে সংক্ষেপে কিছু কথা বলা যাক। “ওপেন সোর্স” এবং “সেলফ-হোস্টেবল” একই জিনিস নয়, এবং কোনোটিই এই নিশ্চয়তা দেয় না যে আপনার প্রয়োজনীয় ফিচারটি ফ্রি বিল্ডে থাকবে। কিছু প্রজেক্ট একটি দ্রুত রাউটিং কোর ওপেন-সোর্স করে, কিন্তু গভর্নেন্স, অবজার্ভেবিলিটি স্টোরেজ এবং মাল্টি-টিম অ্যাক্সেস কন্ট্রোল একটি পেইড টায়ারে রাখে। তাই তিনটি বিষয় আলাদাভাবে মূল্যায়ন করুন: সফটওয়্যারটি আপনার নিজের পরিবেশে চলে কিনা, আপনি যে সংস্করণটি সেলফ-হোস্ট করতে পারবেন তাতে আপনার প্রয়োজনীয় নির্দিষ্ট সক্ষমতাগুলো আছে কিনা, এবং ডেটা শুরু থেকে শেষ পর্যন্ত আপনার ইনফ্রাস্ট্রাকচারেই থাকে কিনা। এই দৃষ্টিকোণ থেকে, এই পাঁচটি সফটওয়্যারের মধ্যে তুলনা নিচে দেওয়া হলো।

১. ট্রুফাউন্ড্রি — এন্টারপ্রাইজ কন্ট্রোল প্লেন যা আপনি আপনার নিজস্ব ক্লাউডে পরিচালনা করেন।

TrueFoundry এই তালিকার শীর্ষে রয়েছে, কারণ এটি ঠিক সেই সীমাবদ্ধতার কথা মাথায় রেখেই তৈরি করা হয়েছে যা টিমগুলোকে সেলফ-হোস্টিংয়ের দিকে ঠেলে দেয়: এন্টারপ্রাইজ সক্ষমতা বিসর্জন না দিয়ে ডেটা নিজের পরিবেশে রাখা। এর AI Gateway আপনার নিজস্ব ক্লাউড বা VPC-এর ভেতরে ডেপ্লয় করা হয়, ফলে প্রম্পট এবং ট্রেসগুলো অঞ্চলভেদে আপনার ইনফ্রাস্ট্রাকচারেই থেকে যায়। একই সাথে এটি আপনাকে ১,০০০-এর বেশি মডেল, লোড ব্যালান্সিং ও ফলব্যাক, একটি সম্পূর্ণ গার্ডরেলস স্যুট, রোল-ভিত্তিক অ্যাক্সেস, বাজেট এবং OpenTelemetry অবজার্ভেবিলিটির জন্য একটি একক OpenAI-কম্প্যাটিবল ইন্টারফেস প্রদান করে।

এটি একটি সাধারণ প্রক্সির চেয়েও বেশি কার্যকর। TrueFoundry একই কন্ট্রোল প্লেনের মাধ্যমে MCP সার্ভার এবং এজেন্টদের পরিচালনা করে, এবং এর এজেন্ট হারনেস, TrueForge, ওপেন সোর্স ও ভেন্ডর-নিরপেক্ষ। ফলে, এর যে অংশগুলো আপনি পরীক্ষা ও সম্প্রসারণ করতে চাইবেন, সেগুলো উন্মুক্ত থাকে এবং প্ল্যাটফর্মটি আপনার প্রয়োজন অনুযায়ী যেকোনো জায়গায় চলে। যে দলগুলো একটি ওপেন-সোর্স প্রজেক্টের সেলফ-হোস্টিং সুবিধা এবং একটি এন্টারপ্রাইজ প্ল্যাটফর্মের গভীরতা ও সাপোর্ট চায়, তাদের জন্য এই সমন্বয়টি অন্য কোথাও খুঁজে পাওয়া কঠিন। উদাহরণস্বরূপ, FloQast মার্কিন যুক্তরাষ্ট্র, ইউরোপীয় ইউনিয়ন এবং এশিয়া-প্রশান্ত মহাসাগরীয় অঞ্চল জুড়ে আর্থিক ডেটা সুরক্ষিত রাখতে এটি সম্পূর্ণরূপে তাদের নিজস্ব ক্লাউডে চালায়, যা সম্পর্কে আপনি TrueFoundry- এর AI Gateway ডকুমেন্টেশন এবং কেস স্টাডিগুলোতে পড়তে পারেন।

এর জন্য সেরা: যেসব প্রতিষ্ঠান নিজেরাই গেটওয়ে পরিচালনা করার পাশাপাশি ডেটা রেসিডেন্সি এবং সম্পূর্ণ গভর্নেন্স চায়। সতর্ক থাকুন: এটি একটি সমৃদ্ধ প্ল্যাটফর্ম, তাই পাঁচ মিনিটে ইনস্টল হয়ে যাবে এমনটা আশা না করে এর রোলআউটের জন্য পরিকল্পনা করুন।

২. পোর্টকি — একটি দ্রুত ও জনপ্রিয় ওপেন-সোর্স রাউটিং কোর

পোর্টকি তার গেটওয়েটিকে একটি এমআইটি লাইসেন্সের অধীনে ওপেন-সোর্স করেছে, এবং এর মূল কাঠামোটি সত্যিই একটি চমৎকার প্রকৌশলগত নিদর্শন: এটি হালকা, এতে অতিরিক্ত ল্যাটেন্সি খুব কম, ইন্টিগ্রেটেড গার্ডরেলসহ একটি বিশাল মডেল ক্যাটালগে রাউটিং করে, এবং এটি আপনার নিজের হোস্ট করা একটি কন্টেইনার হিসেবে চালানোও সহজ। আপনি যদি কোনো কিছু তৈরি করার জন্য একটি পরীক্ষিত ওপেন-সোর্স প্রক্সি চান, তবে সঙ্গত কারণেই এটি সবচেয়ে জনপ্রিয় সূচনা বিন্দুগুলোর মধ্যে একটি।

এখানে মূল বিষয়টি হলো ফ্রি এবং পেইড প্ল্যানের মধ্যে পার্থক্য। সেলফ-হোস্টেড বিল্ড আপনাকে রাউটিং এবং নির্ভরযোগ্যতার স্তর দেয়, কিন্তু অবজার্ভেবিলিটি স্টোরেজ ও ড্যাশবোর্ড, একাধিক দলের জন্য ভূমিকা-ভিত্তিক অ্যাক্সেস, বৃহৎ পরিসরে সিমান্টিক ক্যাশিং এবং এন্টারপ্রাইজ সাপোর্ট হোস্টেড বা এন্টারপ্রাইজ টায়ারে থাকে। তাই এটি একটি রাউটার হিসেবে ভালোভাবে সেলফ-হোস্ট হয়; একটি সম্পূর্ণ গভর্নেন্স স্ট্যাকের জন্য সাধারণত পেইড প্ল্যান প্রয়োজন হয়।

এর জন্য সেরা: যে দলগুলো একটি হালকা ও স্ব-হোস্টেড রাউটিং লেয়ার চায়। সতর্ক থাকুন: এটিকে স্ট্যান্ডার্ড হিসেবে গ্রহণ করার আগে নিশ্চিত হয়ে নিন যে ওপেন বিল্ডে কোন কোন গভর্নেন্স ফিচার রয়েছে।

৩. এনভয় এআই গেটওয়ে — সিএনসিএফ-সমর্থিত উন্মুক্ত মান

এনভয় এআই গেটওয়ে, সিএনসিএফ-এর এনভয় গেটওয়ে প্রজেক্টকে এআই ট্র্যাফিকের জন্য নেটিভ সাপোর্ট দিয়ে আরও উন্নত করেছে এবং এটি ২০২৬ সালে একটি স্থিতিশীল ১.০ সংস্করণে পৌঁছেছে। ব্লুমবার্গের সাথে যৌথভাবে টেট্রেট দ্বারা নির্মিত ও রক্ষণাবেক্ষণকৃত এটিই প্রথম সিএনসিএফ-সমর্থিত ওপেন-সোর্স এআই গেটওয়ে, যা বিক্রেতা-নিরপেক্ষ পরিচালনা এবং কোনো একক বাণিজ্যিক বিক্রেতার দ্বারা নিয়ন্ত্রিত নয় এমন একটি প্রজেক্টের ক্ষেত্রে গুরুত্বপূর্ণ।

এটি প্রধান মডেল প্রোভাইডারদের জুড়ে একটি OpenAI-উপযোগী ইন্টারফেস প্রদান করে, সাথে চ্যাট, এমবেডিং এবং অন্যান্য এন্ডপয়েন্ট জুড়ে রাউটিং, ফেইলওভার এবং OpenTelemetry GenAI ট্রেসিং-এর সুবিধা দেয়। ব্লুমবার্গ ইতিমধ্যেই এটি প্রোডাকশনে ব্যবহার করছে। এর অসুবিধা হলো, এটি একটি ইনফ্রাস্ট্রাকচার-গ্রেড সফটওয়্যার: শক্তিশালী এবং স্ট্যান্ডার্ড-সম্মত, কিন্তু এর জন্য এমন একটি দল প্রয়োজন যারা Envoy এবং Kubernetes পরিচালনায় স্বচ্ছন্দ, এবং একটি ম্যানেজড প্ল্যাটফর্মের তুলনায় এর উচ্চ-স্তরের সুবিধাগুলো বেশি স্ব-উদ্যোগে (DIY) করতে হয়।

কাদের জন্য সেরা: সেইসব প্ল্যাটফর্ম টিম যারা একটি CNCF-মানসম্মত, Envoy-ভিত্তিক গেটওয়ে চায় যা তাদের সম্পূর্ণ নিয়ন্ত্রণে থাকবে। সতর্ক থাকুন: Envoy এবং Kubernetes-এর জন্য প্রয়োজনীয় পরিচালন দক্ষতার বাজেট রাখুন।

৪. হাইগ্রেস — একটি বৃহৎ পরিসরের, এআই-ভিত্তিক ওপেন-সোর্স গেটওয়ে

হাইগ্রেসের যাত্রা শুরু হয়েছিল আলিবাবার অভ্যন্তরে, অ্যাপাচি-২.০-এর অধীনে এটিকে ওপেন-সোর্স করা হয় এবং এটি ইস্টিও ও এনভয়-এর উপর নির্মিত। এটি বৃহৎ পরিসরে বহুবার পরীক্ষিত; এর প্রোডাকশন ভ্যালিডেশন অনুযায়ী এটি প্রতি সেকেন্ডে লক্ষ লক্ষ রিকোয়েস্ট সামলাতে পারে এবং এর কনফিগারেশন পরিবর্তনগুলো বিঘ্ন সৃষ্টিকারী রিলোডের পরিবর্তে মিলিসেকেন্ডের মধ্যেই কার্যকর হয়।

এআই (AI) এর দিক থেকে, এটি মূলধারার মডেল প্রোভাইডারদের সমর্থন করে, এর প্লাগইন মেকানিজমের মাধ্যমে এমসিপি (MCP) সার্ভার হোস্ট করতে পারে যাতে এজেন্টরা টুল কল করতে পারে, এবং ডব্লিউএএফ (WAF) ও বিভিন্ন অথেনটিকেশন স্ট্র্যাটেজির পাশাপাশি এলএলএম (LLM) ও এমসিপি (MCP) এপিআই উভয়ের জন্য সমন্বিত ব্যবস্থাপনা প্রদান করে। যদি আপনার অগ্রাধিকার হয় নিছক পারফরম্যান্স এবং একটি প্রমাণিত উচ্চ-থ্রুপুট কোর, তবে এটি একটি চমৎকার পছন্দ। অন্যান্য ইনফ্রাস্ট্রাকচার-ফার্স্ট প্রজেক্টের মতোই, এর উচ্চ-স্তরের গভর্নেন্স এবং প্রোডাক্ট পলিশ একটি ডেডিকেটেড এন্টারপ্রাইজ প্ল্যাটফর্মের তুলনায় কিছুটা হালকা, এবং এর কমিউনিটির কেন্দ্রবিন্দু কিছু পশ্চিমা দলের কাছে কম পরিচিত মনে হতে পারে।

এর জন্য সেরা: যে দলগুলোর একটি উচ্চ-ক্ষমতাসম্পন্ন, সম্পূর্ণ ওপেন-সোর্স এবং এআই-নির্ভর গেটওয়ে প্রয়োজন। সতর্ক থাকুন: এর গভর্নেন্স লেয়ারের বেশিরভাগ অংশ আপনাকে নিজেই তৈরি করতে হবে।

৫. গ্লু এআই গেটওয়ে — এনভয়-ভিত্তিক এবং কুবারনেটিস-নেটিভ

Solo.io-এর Gloo AI Gateway, একটি পরিপক্ক Envoy- এবং Kubernetes-নেটিভ গেটওয়ের উপর ভিত্তি করে এআই ট্র্যাফিক ম্যানেজমেন্ট তৈরি করে। এটি LLM ট্র্যাফিকের নির্দিষ্ট চাহিদাগুলো পূরণ করে: সিমান্টিক ক্যাশিং, টোকেন-ভিত্তিক রেট লিমিটিং, প্রম্পট এনরিচমেন্ট, Kubernetes সিক্রেটের মাধ্যমে ক্রেডেনশিয়াল ইনজেকশন, এবং সংবেদনশীল তথ্য ফাঁস হওয়া থেকে রক্ষা করার জন্য ডেটা-এক্সফিলট্রেশন সুরক্ষা। Solo.io তাদের ওপেন-সোর্স গেটওয়েটি (kgateway হিসেবে) CNCF-কে দান করেছে, তাই এর একটি প্রকৃত ওপেন কোর রয়েছে।

এই তালিকার প্যাটার্নটির সাথে এর সূক্ষ্ম পার্থক্যটি মিলে যায়: LLM-এর কিছু নির্দিষ্ট সক্ষমতা, যেমন টোকেন-ভিত্তিক রেট লিমিটিং, সাধারণত ফ্রি কোরের পরিবর্তে এন্টারপ্রাইজ লাইসেন্সের অংশ হয়ে থাকে। আপনি যদি ইতিমধ্যেই Kubernetes ব্যবহার করেন এবং এমন একটি Envoy-ভিত্তিক গেটওয়ে চান যা AI ট্র্যাফিককে সর্বোচ্চ গুরুত্ব দেয়, তবে এটি আপনার জন্য একটি দারুণ পছন্দ হবে, যদি আপনি আপনার প্রয়োজনীয় ফিচারগুলোকে সঠিক টিয়ারের সাথে মিলিয়ে নিতে পারেন।

কাদের জন্য সেরা: যেসব Kubernetes-নির্ভর টিম AI ট্র্যাফিক ফিচারসহ একটি Envoy-ভিত্তিক গেটওয়ে চায়। সতর্ক থাকুন: দেখে নিন LLM-এর কোন ফিচারগুলোর জন্য এন্টারপ্রাইজ এডিশন প্রয়োজন।

কীভাবে নির্বাচন করবেন

আপনি যদি নিজে চালানোর জন্য একটি সম্পূর্ণ ওপেন-সোর্স প্রজেক্ট চান, তাহলে Envoy AI Gateway এবং Higress আপনাকে স্ট্যান্ডার্ড-সম্মত, উচ্চ-পারফরম্যান্সের কোর প্রদান করে, এবং আপনি যদি ইতিমধ্যেই Kubernetes-এ Envoy ব্যবহারে প্রতিশ্রুতিবদ্ধ থাকেন, তবে Gloo একটি শক্তিশালী বিকল্প। Portkey হলো একটি রাউটিং লেয়ার সেলফ-হোস্ট করার সবচেয়ে হালকা উপায়, যদি আপনি টিয়ার বাউন্ডারিগুলো মেনে নেন। আর যদি আপনার ডেটা সম্পূর্ণ এন্টারপ্রাইজ গভর্নেন্স এবং সাপোর্টসহ আপনার নিজের ক্লাউডে রাখার প্রয়োজন হয়, তবে TrueFoundry হলো সেই বিকল্প যা আপনাকে নিজে গভর্নেন্স স্ট্যাক তৈরি করতে না বলেই সেলফ-হোস্টেড সুবিধা প্রদান করে।

তলদেশের সরুরেখা

আগে একটি এআই গেটওয়ে নিজে হোস্ট করার অর্থ ছিল নিয়ন্ত্রণের জন্য কিছু ফিচার ছেড়ে দেওয়া। ২০২৬ সালে এসে বিষয়টি আর সত্যি নয়: আপনি একটি CNCF-সমর্থিত ওপেন স্ট্যান্ডার্ড, একটি হাই-থ্রুপুট এআই-নেটিভ কোর, অথবা একটি সম্পূর্ণ নিয়ন্ত্রিত এন্টারপ্রাইজ প্ল্যাটফর্ম পেতে পারেন যা আপনার নিজের পরিবেশেই চলে। সঠিক বিকল্পটি বেছে নেওয়া নির্ভর করে আপনি নিজে কতটা পরিচালনা করতে চান এবং সেট-আপ ছাড়াই কতটা নিয়ন্ত্রণ চান তার উপর। যে দলগুলো নিয়ন্ত্রণ এবং গভীরতা উভয়ই চায়, তাদের জন্য TrueFoundry-ই সেরা।