DSpy নামে পাইথনের একটা ফ্রেমওয়ারক ।

তো কি এই DSPy? ওদের গিটের পেইজে গেলে ও আপনাকে অনেক কিছু বলবে যেগুলার মাথা মুন্ডু বুঝতে হয়ত সময় লাগবে। তাই আমি একটু চেষ্টা করি।

এইটা দিয়ে আপনি আসলে আপনার AI Agent কে ট্রেইন করাতে পারবেন। এখন আপনি বলবেন Agent কিভাবে ট্রেইন করে? এইটা অনেকটা সেলফ লার্নিং এজেন্ট।

সবার আগে আসি AI Agent বলতে এখন আসলে কি বোঝানো হয়। এজেন্ট বলতে এমন একটা সিস্টেমকে বোঝানো হয়।যাকে আপনি কল দিলে ও নিজে কিছু কাজ করে। যেমন ধরেন ডাটাবেজ কল, অন্য API কল দেয়।তারপরে LLM কল দিয়ে সে পুরা ডাটাকে সাজিয়ে ন্যাচারাল ল্যাংগুয়েজ সুন্দর করে ইউজারের কাছে নিয়ে আসে।

তো এই LLM কে কল দেয়ার সময় সুন্দর করে Prompt লিখতে হয়। Model চেঞ্জ হলেই সেই আগের লেখা Prompt আর কাজ করে না। এই Prompt লেখাকেই আজকাল Prompt Engineering বলে।

এই Prompt Engineering এর প্রবলেম কি?

LLM মডেলগুলা ইনডিটারমিনেস্টিক। সহজ ভাষায় ওকে আপনি প্রথমবার ইনপুট দিয়ে যে আউটপুট পাবেন। সেটা পরের বার নাও পেতে পারেন। পুরা জিনিসটাই প্রোবাবিলিটি। Prompt Engineer রা চেষ্টা করে Hacky Prompt লিখে সব সময় কাছাকাছি আউটপুট আনতে। তারপরেও পারে না।

এইখানে আসলে আসে DSPy।

আপনি একটা বেসিক Template লিখে দিবেন। ও LLM কে কল দিবে তার প্রশ্ন নিয়ে। ধরেন এমন একটা LLM কে কল দিবে যে এত পাওয়ারফুল মডেল না। তাই ভুলভাল বেশি বলবে। এখন তার এইভুল ধরার জন্য OpenAI কোন পাওয়ারফুল মডেলকে কল দেয়া হবে। সে বলবে তুই ভুল বলছিস। সে ভুল বলার বেসিসে আপনি একটা নাম্বার এসাইন করবেন। তারপরে আপনার এজেন্ট নিজেকে আপডেট করবে। দেখেন এইখানে দুইটা LLM মডেল।একটা কম পাওয়ারফুল আপনাক ভুলভাল রিপ্লাই দিবে। আরেকটা মডেল পাওয়াফুল যে আপনার ভুল ধরায় দিবে। আপনি সেই ভুলের মাত্রাকে একটা নাম্বার চিন্তা করেন। তারপরে আপনার এজেন্টেকে আপডেট করেন।

এইভাবে কয়েক সাইকেল চললে আপনার বানানো এই নতুন এজেন্ট কিন্তু ভুল কম করা শুরু করবে। আপনি যে Prompt লিখেতে সেটা আর দরকার নাই। বেসিক Prompt দিয়ে শুরু হবে। আপনার Agent নিজেই নিজেকে ট্রেইন করবে লুপ চালিয়ে।

সেই নিউরাল নেটওয়ার্ক এর ওয়েট আপডেট করার মত ব্যাপার।কিন্তু এখনে আমরা আমাদের Prompt কে আপডেট করছি।

একটা সময় পরে গিয়ে এই Agent গুলা ভিতরে থাকা Prompt বেটার হয়। এদিকে সে কম পাওয়ারফুল মডেল দিয়ে ভালো আউটপুট দিতে শুরু করে।

আইডিয়াটা এত ভয়ানক যে এটা দিয়ে অনেক কিছু করে ফেলা পসিবল। যেমন আমরা এই জিনিস দিয়ে AI SRE বানানোর চেষ্টা ।