সফ্টওয়্যার ডেভেলপারদের বড় ল্যাঙ্গুয়েজ মডেলের (LLMs) ব্যবহার আক্রমণকারীদের জন্য ডেভেলপমেন্ট এনভায়রনমেন্টে দূষিত প্যাকেজ বিতরণ করার জন্য পূর্বে চিন্তা করার চেয়ে একটি বড় সুযোগ উপস্থাপন করে, সম্প্রতি প্রকাশিত গবেষণা অনুসারে।
এলএলএম সিকিউরিটি ভেন্ডর ল্যাসো সিকিউরিটির গবেষণাটি গত বছরের একটি রিপোর্টের ফলো-আপ। আক্রমণকারীরা LLM-এর অপব্যবহার করে হ্যালুসিনেট করার প্রবণতা, অথবা আপাতদৃষ্টিতে প্রশংসনীয় কিন্তু বাস্তবে ভিত্তিহীন নয়, ব্যবহারকারীর ইনপুটের প্রতিক্রিয়া হিসাবে তৈরি করতে।
এআই প্যাকেজ হ্যালুসিনেশন
সার্জারির পূর্ববর্তী গবেষণা যখন সফটওয়্যার ডেভেলপাররা একটি ডেভেলপমেন্ট এনভায়রনমেন্টে এআই-সক্রিয় চ্যাটবট-এর সাহায্য চেয়েছিল তখন কোড লাইব্রেরিগুলির নাম তৈরি করার জন্য ChatGPT-এর প্রবণতার উপর দৃষ্টি নিবদ্ধ করে। অন্য কথায়, চ্যাটবট কখনও কখনও পাবলিক কোড রিপোজিটরিতে অস্তিত্বহীন প্যাকেজগুলির লিঙ্কগুলি তৈরি করে যখন কোনও বিকাশকারী এটিকে কোনও প্রকল্পে ব্যবহারের জন্য প্যাকেজগুলির পরামর্শ দিতে বলতে পারে।
নিরাপত্তা গবেষক বার ল্যানিয়াডো, গবেষণার লেখক এবং এখন ল্যাসো সিকিউরিটি, দেখেছেন যে আক্রমণকারীরা সহজেই একটি প্রকৃত দূষিত প্যাকেজকে ChatGPT পয়েন্টে ফেলে দিতে পারে এবং এটিকে হ্যালুসিনেটেড প্যাকেজের মতোই নাম দিতে পারে। ChatGPT-এর সুপারিশের ভিত্তিতে প্যাকেজটি ডাউনলোড করে এমন যেকোনো বিকাশকারী তাদের উন্নয়ন পরিবেশে ম্যালওয়্যার প্রবর্তন করতে পারে।
ল্যানিয়াডোর ফলো-আপ গবেষণা চারটি ভিন্ন ভিন্ন বৃহৎ ভাষার মডেল জুড়ে প্যাকেজ হ্যালুসিনেশন সমস্যার ব্যাপকতা পরীক্ষা করেছে: GPT-3.5-Turbo, GPT-4, Gemini Pro (পূর্বে Bard), এবং কোরাল (Cohere)। তিনি বিভিন্ন প্রোগ্রামিং ল্যাঙ্গুয়েজ জুড়ে হ্যালুসিনেটেড প্যাকেজ তৈরি করতে এবং তারা একই হ্যালুসিনেটেড প্যাকেজ তৈরি করার ফ্রিকোয়েন্সি তৈরি করতে প্রতিটি মডেলের প্রবণতাও পরীক্ষা করেছিলেন।
পরীক্ষার জন্য, ল্যানিয়াডো হাজার হাজার "কিভাবে করবেন" প্রশ্নের একটি তালিকা তৈরি করেছে যা বিভিন্ন প্রোগ্রামিং পরিবেশে বিকাশকারীরা — python, node.js, go, .net, ruby — সাধারণত ডেভেলপমেন্ট এনভায়রনমেন্টে LLM-এর কাছ থেকে সহায়তা চান৷ ল্যানিয়াডো তারপরে প্রতিটি মডেলকে একটি কোডিং-সম্পর্কিত প্রশ্ন জিজ্ঞাসা করেছিল সেইসাথে প্রশ্ন সম্পর্কিত একটি প্যাকেজের জন্য একটি সুপারিশ। তিনি একই সমস্যা সমাধানের জন্য প্রতিটি মডেলকে আরও 10টি প্যাকেজ সুপারিশ করতে বলেছেন।
পুনরাবৃত্তিমূলক ফলাফল
ফলাফল উদ্বেগজনক ছিল. একটি চমকপ্রদ 64.5% "কথোপকথন" ল্যানিয়াডো জেমিনির সাথে হ্যালুসিনেটেড প্যাকেজ তৈরি করেছে। কোরালের সাথে, সেই সংখ্যা ছিল 29.1%; GPT-4 (24.2%) এবং GPT3.5 (22.5%) এর মতো অন্যান্য LLMগুলি খুব বেশি ভাল ছিল না।
ল্যানিয়াডো যখন প্রতিটি মডেলকে একই প্রশ্নগুলির সেট 100 বার জিজ্ঞাসা করেছিল যে মডেলগুলি একই প্যাকেজগুলিকে কত ঘন ঘন হ্যালুসিনেট করবে, তখন তিনি পুনরাবৃত্তির হারগুলিও ভ্রু-উত্থাপিত হতে দেখেন। কোহেরে, উদাহরণস্বরূপ, একই হ্যালুসিনেটেড প্যাকেজগুলি 24% এর বেশি সময়ের মধ্যে প্রকাশ করেছে; চ্যাট GPT-3.5 এবং Gemini প্রায় 14%, এবং GPT-4 20%। বেশ কয়েকটি ক্ষেত্রে, বিভিন্ন মডেল একই বা অনুরূপ প্যাকেজগুলিকে হ্যালুসিনেট করেছে। এই ধরনের ক্রস-হ্যালুসিনেটেড মডেলের সর্বাধিক সংখ্যা GPT-3.5 এবং জেমিনির মধ্যে ঘটেছে।
ল্যানিয়াডো বলেছেন যে এমনকি যদি বিভিন্ন ডেভেলপাররা একই বিষয়ে একটি LLM কে একটি প্রশ্ন জিজ্ঞাসা করে কিন্তু প্রশ্নগুলি ভিন্নভাবে তৈরি করে, তবে একটি সম্ভাবনা রয়েছে যে LLM প্রতিটি ক্ষেত্রে একই হ্যালুসিনেটেড প্যাকেজ সুপারিশ করবে। অন্য কথায়, কোডিং সহায়তার জন্য LLM ব্যবহারকারী যেকোন বিকাশকারী সম্ভবত একই রকম হ্যালুসিনেটেড প্যাকেজের সম্মুখীন হবে।
"প্রশ্নটি সম্পূর্ণ ভিন্ন হতে পারে তবে একই বিষয়ে, এবং হ্যালুসিনেশন এখনও ঘটবে, এই কৌশলটিকে খুব কার্যকর করে তোলে," ল্যানিয়াডো বলেছেন। "বর্তমান গবেষণায়, আমরা অনেকগুলি বিভিন্ন প্রশ্ন এবং বিষয়ের জন্য এবং এমনকি বিভিন্ন মডেল জুড়ে 'পুনরাবৃত্ত প্যাকেজ' পেয়েছি, যা এই হ্যালুসিনেটেড প্যাকেজগুলি ব্যবহার করার সম্ভাবনা বাড়িয়ে তোলে।"
শোষণ করা সহজ
কিছু হ্যালুসিনেটেড প্যাকেজের নাম দিয়ে সজ্জিত একজন আক্রমণকারী, উদাহরণস্বরূপ, একই নামের প্যাকেজগুলি যথাযথ সংগ্রহস্থলে আপলোড করতে পারে যে একটি ভাল সম্ভাবনা আছে যে একটি এলএলএম ডেভেলপারদের এটির দিকে নির্দেশ করবে। হুমকিটি তাত্ত্বিক নয় তা দেখানোর জন্য, ল্যানিয়াডো একটি হ্যালুসিনেটেড প্যাকেজ নিয়েছিল যার নাম "হাগিংফেস-ক্লি" সে তার পরীক্ষার সময় সম্মুখীন হয়েছিল এবং একই নামের একটি খালি প্যাকেজ মেশিন লার্নিং মডেলের জন্য হাগিং ফেস রিপোজিটরিতে আপলোড করেছিল। বিকাশকারীরা সেই প্যাকেজটি 32,000 বারের বেশি ডাউনলোড করেছে, তিনি বলেছেন।
হুমকি অভিনেতার দৃষ্টিকোণ থেকে, প্যাকেজ হ্যালুসিনেশনগুলি ম্যালওয়্যার বিতরণের জন্য তুলনামূলকভাবে সরল ভেক্টর সরবরাহ করে। "যেমন আমরা গবেষণার ফলাফল থেকে [দেখেছি], এটি এতটা কঠিন নয়," তিনি বলেছেন। ল্যানিয়াডো যোগ করে, গড়ে, প্রায় 35টি প্রশ্নের জন্য সমস্ত মডেল একসাথে 48,000% হ্যালুসিনেশন করেছে। জিপিটি-৩.৫-এ হ্যালুসিনেশনের সর্বনিম্ন শতাংশ ছিল; জেমিনি সর্বোচ্চ স্কোর করেছে, চারটি মডেল জুড়ে গড়ে 3.5% পুনরাবৃত্তির সাথে, তিনি নোট করেছেন।
ল্যানিয়াডো পরামর্শ দেয় যে ডেভেলপাররা এলএলএম থেকে প্যাকেজ সুপারিশগুলির উপর কাজ করার সময় সতর্কতা অবলম্বন করে যখন তারা এটির সঠিকতা সম্পর্কে সম্পূর্ণরূপে নিশ্চিত না হয়। তিনি আরও বলেন যে ডেভেলপাররা যখন একটি অপরিচিত ওপেন সোর্স প্যাকেজের সম্মুখীন হয় তখন তাদের প্যাকেজ রিপোজিটরি পরিদর্শন করতে হবে এবং এর সম্প্রদায়ের আকার, এর রক্ষণাবেক্ষণ রেকর্ড, এর পরিচিত দুর্বলতা এবং এর সামগ্রিক ব্যস্ততার হার পরীক্ষা করতে হবে। ডেভেলপারদের উচিত প্যাকেজটিকে ডেভেলপমেন্ট এনভায়রনমেন্টে প্রবর্তন করার আগে পুঙ্খানুপুঙ্খভাবে স্ক্যান করা।
- এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
- PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
- প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
- প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
- প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
- উত্স: https://www.darkreading.com/application-security/pervasive-llm-hallucinations-expand-code-developer-attack-surface
