আজ, সমস্ত শিল্পের গ্রাহকরা - তা আর্থিক পরিষেবা, স্বাস্থ্যসেবা এবং জীবন বিজ্ঞান, ভ্রমণ এবং আতিথেয়তা, মিডিয়া এবং বিনোদন, টেলিযোগাযোগ, একটি পরিষেবা হিসাবে সফ্টওয়্যার (SaaS) এবং এমনকি মালিকানাধীন মডেল প্রদানকারীরা - বড় ভাষা মডেল (LLMs) ব্যবহার করছেন প্রশ্ন ও উত্তর (QnA) চ্যাটবট, সার্চ ইঞ্জিন এবং জ্ঞানের ভিত্তির মতো অ্যাপ্লিকেশন তৈরি করুন। এইগুলো জেনারেটিভ এআই অ্যাপ্লিকেশনগুলি কেবল বিদ্যমান ব্যবসায়িক প্রক্রিয়াগুলিকে স্বয়ংক্রিয় করতে ব্যবহৃত হয় না, তবে এই অ্যাপ্লিকেশনগুলি ব্যবহার করে গ্রাহকদের অভিজ্ঞতাকে রূপান্তর করার ক্ষমতাও রয়েছে৷ অগ্রগতির সাথে সাথে LLMs এর মত Mixtral-8x7B নির্দেশ, যেমন স্থাপত্যের ডেরিভেটিভ বিশেষজ্ঞদের মিশ্রণ (MoE), গ্রাহকরা ক্রমাগতভাবে ক্লোজড এবং ওপেন সোর্স মডেলের বিস্তৃত পরিসর কার্যকরভাবে ব্যবহার করার অনুমতি দিয়ে জেনারেটিভ AI অ্যাপ্লিকেশনগুলির কার্যকারিতা এবং নির্ভুলতা উন্নত করার উপায় খুঁজছেন।

এলএলএম-এর আউটপুটের নির্ভুলতা এবং কর্মক্ষমতা উন্নত করতে সাধারণত বেশ কিছু কৌশল ব্যবহার করা হয়, যেমন এর সাথে ফাইন-টিউনিং প্যারামিটার দক্ষ ফাইন-টিউনিং (PEFT), মানুষের প্রতিক্রিয়া থেকে শক্তিবৃদ্ধি শিক্ষা (RLHF), এবং পারফর্ম করছে জ্ঞান পাতন. যাইহোক, জেনারেটিভ এআই অ্যাপ্লিকেশন তৈরি করার সময়, আপনি একটি বিকল্প সমাধান ব্যবহার করতে পারেন যা বাহ্যিক জ্ঞানের গতিশীল সংযোজনের অনুমতি দেয় এবং আপনাকে আপনার বিদ্যমান ফাউন্ডেশনাল মডেলকে সূক্ষ্ম সুর করার প্রয়োজন ছাড়াই প্রজন্মের জন্য ব্যবহৃত তথ্য নিয়ন্ত্রণ করতে দেয়। এখানেই রিট্রিভাল অগমেন্টেড জেনারেশন (RAG) আসে, বিশেষ করে জেনারেটিভ এআই অ্যাপ্লিকেশনের জন্য, আমরা আলোচনা করেছি আরও ব্যয়বহুল এবং শক্তিশালী ফাইন-টিউনিং বিকল্পের বিপরীতে। আপনি যদি আপনার দৈনন্দিন কাজগুলিতে জটিল RAG অ্যাপ্লিকেশনগুলি প্রয়োগ করেন, তাহলে আপনি আপনার RAG সিস্টেমগুলির সাথে সাধারণ চ্যালেঞ্জগুলির সম্মুখীন হতে পারেন যেমন ভুল পুনরুদ্ধার, নথির আকার এবং জটিলতা বৃদ্ধি এবং প্রসঙ্গ ওভারফ্লো, যা উত্পন্ন উত্তরগুলির গুণমান এবং নির্ভরযোগ্যতাকে উল্লেখযোগ্যভাবে প্রভাবিত করতে পারে .

এই পোস্টটি ল্যাংচেইন ব্যবহার করে প্রতিক্রিয়া নির্ভুলতা উন্নত করার জন্য RAG প্যাটার্ন নিয়ে আলোচনা করে এবং প্রাসঙ্গিক কম্প্রেশনের মতো কৌশলগুলি ছাড়াও প্যারেন্ট ডকুমেন্ট রিট্রিভারের মতো টুলসগুলি নিয়ে আলোচনা করে যাতে ডেভেলপারদের বিদ্যমান জেনারেটিভ AI অ্যাপ্লিকেশনগুলিকে উন্নত করতে সক্ষম করে।

সমাধান ওভারভিউ

এই পোস্টে, আমরা প্যারেন্ট ডকুমেন্ট রিট্রিভার টুল এবং প্রাসঙ্গিক কম্প্রেশন কৌশল ব্যবহার করে একটি Amazon SageMaker নোটবুকে একটি RAG QnA সিস্টেম দক্ষতার সাথে তৈরি করতে BGE Large En এম্বেডিং মডেলের সাথে মিলিত Mixtral-8x7B নির্দেশ টেক্সট জেনারেশনের ব্যবহার প্রদর্শন করি। নিম্নলিখিত চিত্রটি এই সমাধানটির আর্কিটেকচারকে চিত্রিত করে।

আপনি ব্যবহার করে মাত্র কয়েকটি ক্লিকের মাধ্যমে এই সমাধানটি স্থাপন করতে পারেন আমাজন সেজমেকার জাম্পস্টার্ট, একটি সম্পূর্ণরূপে পরিচালিত প্ল্যাটফর্ম যা বিভিন্ন ব্যবহারের ক্ষেত্রে যেমন বিষয়বস্তু লেখা, কোড জেনারেশন, প্রশ্নের উত্তর, কপিরাইটিং, সংক্ষিপ্তকরণ, শ্রেণীবিভাগ এবং তথ্য পুনরুদ্ধারের জন্য অত্যাধুনিক ভিত্তি মডেল অফার করে। এটি প্রাক-প্রশিক্ষিত মডেলগুলির একটি সংগ্রহ সরবরাহ করে যা আপনি দ্রুত এবং সহজে স্থাপন করতে পারেন, মেশিন লার্নিং (ML) অ্যাপ্লিকেশনগুলির বিকাশ এবং স্থাপনাকে ত্বরান্বিত করে৷ SageMaker JumpStart-এর মূল উপাদানগুলির মধ্যে একটি হল মডেল হাব, যা বিভিন্ন কাজের জন্য মিক্সট্রাল-8x7B-এর মতো পূর্ব-প্রশিক্ষিত মডেলগুলির একটি বিশাল ক্যাটালগ অফার করে।

Mixtral-8x7B একটি MoE আর্কিটেকচার ব্যবহার করে। এই স্থাপত্যটি একটি নিউরাল নেটওয়ার্কের বিভিন্ন অংশকে বিভিন্ন কাজে বিশেষজ্ঞ করার অনুমতি দেয়, কার্যকরভাবে একাধিক বিশেষজ্ঞদের মধ্যে কাজের চাপকে ভাগ করে। এই পদ্ধতিটি ঐতিহ্যগত স্থাপত্যের তুলনায় বৃহত্তর মডেলগুলির দক্ষ প্রশিক্ষণ এবং স্থাপনাকে সক্ষম করে।

MoE আর্কিটেকচারের অন্যতম প্রধান সুবিধা হল এর মাপযোগ্যতা। একাধিক বিশেষজ্ঞদের মধ্যে কাজের চাপ বিতরণ করে, MoE মডেলগুলিকে বড় ডেটাসেটে প্রশিক্ষণ দেওয়া যেতে পারে এবং একই আকারের ঐতিহ্যবাহী মডেলগুলির তুলনায় আরও ভাল কর্মক্ষমতা অর্জন করতে পারে। উপরন্তু, MoE মডেলগুলি অনুমানের সময় আরও দক্ষ হতে পারে কারণ একটি প্রদত্ত ইনপুটের জন্য শুধুমাত্র বিশেষজ্ঞদের একটি উপসেট সক্রিয় করা প্রয়োজন।

AWS-এ Mixtral-8x7B নির্দেশ সম্পর্কে আরও তথ্যের জন্য, পড়ুন Mixtral-8x7B এখন Amazon SageMaker JumpStart-এ উপলব্ধ. Mixtral-8x7B মডেলটি অনুমতিপ্রাপ্ত Apache 2.0 লাইসেন্সের অধীনে সীমাবদ্ধতা ছাড়াই ব্যবহারের জন্য উপলব্ধ করা হয়েছে।

এই পোস্টে, আমরা কিভাবে আপনি ব্যবহার করতে পারেন আলোচনা ল্যাংচেইন কার্যকর এবং আরও দক্ষ RAG অ্যাপ্লিকেশন তৈরি করতে। LangChain হল একটি ওপেন সোর্স পাইথন লাইব্রেরি যা এলএলএম-এর সাহায্যে অ্যাপ্লিকেশন তৈরি করার জন্য ডিজাইন করা হয়েছে। এটি শক্তিশালী এবং কাস্টমাইজযোগ্য অ্যাপ্লিকেশন তৈরি করার জন্য জ্ঞানের ভিত্তি, পুনরুদ্ধার সিস্টেম এবং অন্যান্য এআই সরঞ্জামগুলির মতো অন্যান্য উপাদানগুলির সাথে এলএলএমগুলিকে একত্রিত করার জন্য একটি মডুলার এবং নমনীয় কাঠামো সরবরাহ করে।

আমরা Mixtral-8x7B এর সাথে SageMaker-এ একটি RAG পাইপলাইন নির্মাণের মধ্য দিয়ে হাঁটছি। SageMaker নোটবুকে RAG ব্যবহার করে একটি দক্ষ QnA সিস্টেম তৈরি করতে আমরা BGE Large En এম্বেডিং মডেলের সাথে Mixtral-8x7B নির্দেশ টেক্সট জেনারেশন মডেল ব্যবহার করি। আমরা সেজমেকার জাম্পস্টার্টের মাধ্যমে এলএলএম স্থাপনের প্রদর্শনের জন্য একটি ml.t3.medium উদাহরণ ব্যবহার করি, যা একটি SageMaker-জেনারেটেড API এন্ডপয়েন্টের মাধ্যমে অ্যাক্সেস করা যেতে পারে। এই সেটআপটি LangChain-এর সাথে উন্নত RAG কৌশলগুলির অন্বেষণ, পরীক্ষা-নিরীক্ষা এবং অপ্টিমাইজেশনের অনুমতি দেয়। আমরা RAG ওয়ার্কফ্লোতে FAISS এম্বেডিং স্টোরের একীকরণকেও চিত্রিত করি, সিস্টেমের কার্যকারিতা বাড়াতে এম্বেডিংগুলি সঞ্চয় এবং পুনরুদ্ধারের ক্ষেত্রে এর ভূমিকা হাইলাইট করে৷

আমরা সেজমেকার নোটবুকের একটি সংক্ষিপ্ত ওয়াকথ্রু করি। আরও বিস্তারিত এবং ধাপে ধাপে নির্দেশাবলীর জন্য, দেখুন সেজমেকার জাম্পস্টার্ট গিটহাব রেপোতে মিক্সট্রালের সাথে উন্নত RAG প্যাটার্নস.

উন্নত RAG নিদর্শন জন্য প্রয়োজন

মানুষের মতো পাঠ্য প্রক্রিয়াকরণ, বোঝা এবং তৈরি করার ক্ষেত্রে এলএলএম-এর বর্তমান ক্ষমতার উন্নতির জন্য উন্নত RAG প্যাটার্নগুলি অপরিহার্য। নথির আকার এবং জটিলতা বৃদ্ধির সাথে সাথে একটি একক এম্বেডিং-এ নথির একাধিক দিক উপস্থাপন করা নির্দিষ্টতা হারাতে পারে। যদিও এটি একটি নথির সাধারণ সারমর্ম ক্যাপচার করা অপরিহার্য, তবে এটির মধ্যে বিভিন্ন উপ-প্রসঙ্গগুলি সনাক্ত করা এবং উপস্থাপন করা সমানভাবে গুরুত্বপূর্ণ। এটি একটি চ্যালেঞ্জ যা আপনি প্রায়শই বড় নথিগুলির সাথে কাজ করার সময় সম্মুখীন হন। RAG-এর সাথে আরেকটি চ্যালেঞ্জ হল পুনরুদ্ধারের সাথে, আপনার ডকুমেন্ট স্টোরেজ সিস্টেম ইনজেশনের সাথে মোকাবেলা করবে এমন নির্দিষ্ট প্রশ্নগুলির বিষয়ে আপনি সচেতন নন। এটি পাঠ্যের (প্রসঙ্গ ওভারফ্লো) অধীনে সমাহিত একটি প্রশ্নের সাথে সবচেয়ে প্রাসঙ্গিক তথ্যের দিকে নিয়ে যেতে পারে। ব্যর্থতা প্রশমিত করতে এবং বিদ্যমান RAG আর্কিটেকচারে উন্নতি করতে, আপনি পুনরুদ্ধার ত্রুটিগুলি হ্রাস করতে, উত্তরের গুণমান উন্নত করতে এবং জটিল প্রশ্ন পরিচালনা সক্ষম করতে উন্নত RAG প্যাটার্ন (প্যারেন্ট ডকুমেন্ট পুনরুদ্ধার এবং প্রাসঙ্গিক সংকোচন) ব্যবহার করতে পারেন।

এই পোস্টে আলোচনা করা কৌশলগুলির সাহায্যে, আপনি বাহ্যিক জ্ঞান পুনরুদ্ধার এবং একীকরণের সাথে যুক্ত মূল চ্যালেঞ্জগুলি মোকাবেলা করতে পারেন, আপনার অ্যাপ্লিকেশনটিকে আরও সুনির্দিষ্ট এবং প্রাসঙ্গিকভাবে সচেতন প্রতিক্রিয়া প্রদান করতে সক্ষম করে৷

নিম্নলিখিত বিভাগে, আমরা কিভাবে অন্বেষণ অভিভাবক নথি উদ্ধারকারী এবং প্রাসঙ্গিক সংকোচন আমরা আলোচনা করেছি এমন কিছু সমস্যা মোকাবেলায় আপনাকে সাহায্য করতে পারে।

অভিভাবক নথি উদ্ধারকারী

পূর্ববর্তী বিভাগে, আমরা বিস্তৃত নথিগুলির সাথে কাজ করার সময় RAG অ্যাপ্লিকেশনগুলির সম্মুখীন হওয়া চ্যালেঞ্জগুলিকে হাইলাইট করেছি৷ এই চ্যালেঞ্জ মোকাবেলা করতে, অভিভাবক নথি উদ্ধারকারী আগত নথিগুলিকে শ্রেণীবদ্ধ করুন এবং মনোনীত করুন পিতামাতার নথি. এই নথিগুলি তাদের ব্যাপক প্রকৃতির জন্য স্বীকৃত তবে এম্বেডিংয়ের জন্য তাদের আসল আকারে সরাসরি ব্যবহার করা হয় না। একটি সম্পূর্ণ নথিকে একটি একক এম্বেডিংয়ে সংকুচিত করার পরিবর্তে, অভিভাবক নথি পুনরুদ্ধারকারীরা এই মূল নথিগুলিকে বিচ্ছিন্ন করে শিশু নথি. প্রতিটি শিশু নথি বিস্তৃত অভিভাবক নথি থেকে স্বতন্ত্র দিক বা বিষয়গুলি ক্যাপচার করে৷ এই শিশু বিভাগগুলির সনাক্তকরণের পরে, প্রতিটিতে পৃথক এম্বেডিংগুলি বরাদ্দ করা হয়, তাদের নির্দিষ্ট বিষয়গত সারাংশ ক্যাপচার করে (নিম্নলিখিত চিত্রটি দেখুন)। পুনরুদ্ধারের সময়, মূল নথিটি আহ্বান করা হয়। এই কৌশলটি LLM-কে একটি বিস্তৃত পরিপ্রেক্ষিতে সজ্জিত করে লক্ষ্যবস্তু এখনো বিস্তৃত অনুসন্ধান ক্ষমতা প্রদান করে। অভিভাবক নথি পুনরুদ্ধারকারীরা এলএলএমগুলিকে দ্বিগুণ সুবিধা প্রদান করে: সুনির্দিষ্ট এবং প্রাসঙ্গিক তথ্য পুনরুদ্ধারের জন্য চাইল্ড ডকুমেন্ট এমবেডিংয়ের নির্দিষ্টতা, প্রতিক্রিয়া তৈরির জন্য পিতামাতার নথির আহ্বানের সাথে মিলিত, যা একটি স্তরযুক্ত এবং পুঙ্খানুপুঙ্খ প্রেক্ষাপটের সাথে এলএলএম-এর আউটপুটগুলিকে সমৃদ্ধ করে।

প্রাসঙ্গিক সংকোচন

আগে আলোচিত প্রসঙ্গ ওভারফ্লো সমস্যা সমাধানের জন্য, আপনি ব্যবহার করতে পারেন প্রাসঙ্গিক সংকোচন কোয়েরির প্রসঙ্গের সাথে সারিবদ্ধভাবে পুনরুদ্ধার করা নথিগুলিকে সংকুচিত এবং ফিল্টার করতে, তাই শুধুমাত্র প্রাসঙ্গিক তথ্য রাখা এবং প্রক্রিয়া করা হয়। প্রাথমিক নথি সংগ্রহের জন্য একটি বেস পুনরুদ্ধার এবং এই নথিগুলিকে তাদের বিষয়বস্তু কমিয়ে বা প্রাসঙ্গিকতার উপর ভিত্তি করে সম্পূর্ণরূপে বাদ দিয়ে পরিমার্জন করার জন্য একটি নথি সংকোচকারীর সংমিশ্রণের মাধ্যমে এটি অর্জন করা হয়েছে, যেমনটি নিম্নলিখিত চিত্রটিতে চিত্রিত হয়েছে৷ প্রাসঙ্গিক সংকোচন পুনরুদ্ধারের মাধ্যমে সহজলভ্য এই সুবিন্যস্ত পদ্ধতি, প্রচুর পরিমাণে তথ্য থেকে যা প্রয়োজনীয় তা শুধুমাত্র নিষ্কাশন এবং ব্যবহার করার একটি পদ্ধতি প্রদান করে RAG অ্যাপ্লিকেশন দক্ষতাকে ব্যাপকভাবে বৃদ্ধি করে। এটি তথ্য ওভারলোড এবং অপ্রাসঙ্গিক ডেটা প্রক্রিয়াকরণের সমস্যা মোকাবেলা করে, যা উন্নত প্রতিক্রিয়ার গুণমান, আরও সাশ্রয়ী LLM অপারেশন এবং একটি মসৃণ সামগ্রিক পুনরুদ্ধার প্রক্রিয়ার দিকে পরিচালিত করে। মূলত, এটি একটি ফিল্টার যা হাতের কাছে থাকা প্রশ্নের জন্য তথ্যকে টেইলার্স করে, এটি ডেভেলপারদের জন্য একটি অত্যন্ত প্রয়োজনীয় টুল তৈরি করে যা তাদের RAG অ্যাপ্লিকেশনগুলিকে আরও ভাল পারফরম্যান্স এবং ব্যবহারকারীর সন্তুষ্টির জন্য অপ্টিমাইজ করার লক্ষ্যে।

পূর্বশর্ত

আপনি যদি সেজমেকারে নতুন হন তবে দেখুন অ্যামাজন সেজমেকার ডেভেলপমেন্ট গাইড.

সমাধান দিয়ে শুরু করার আগে, একটি AWS অ্যাকাউন্ট তৈরি করুন. আপনি যখন একটি AWS অ্যাকাউন্ট তৈরি করেন, তখন আপনি একটি একক সাইন-অন (SSO) পরিচয় পান যেটির অ্যাকাউন্টের সমস্ত AWS পরিষেবা এবং সংস্থানগুলিতে সম্পূর্ণ অ্যাক্সেস রয়েছে৷ এই পরিচয়টিকে AWS অ্যাকাউন্ট বলা হয় রুট ব্যবহারকারী.

তে সাইন ইন করা হচ্ছে এডাব্লুএস ম্যানেজমেন্ট কনসোল আপনি অ্যাকাউন্ট তৈরি করতে যে ইমেল ঠিকানা এবং পাসওয়ার্ড ব্যবহার করেছিলেন তা ব্যবহার করে আপনাকে আপনার অ্যাকাউন্টের সমস্ত AWS সংস্থানগুলিতে সম্পূর্ণ অ্যাক্সেস দেয়। আমরা দৃঢ়ভাবে সুপারিশ করি যে আপনি প্রতিদিনের কাজ, এমনকি প্রশাসনিক কাজের জন্য রুট ব্যবহারকারী ব্যবহার করবেন না।

পরিবর্তে, মেনে চলুন সুরক্ষা সেরা অনুশীলন in এডাব্লুএস আইডেন্টিটি এবং অ্যাক্সেস ম্যানেজমেন্ট (IAM), এবং একটি প্রশাসনিক ব্যবহারকারী এবং গ্রুপ তৈরি করুন. তারপর নিরাপদে রুট ব্যবহারকারীর শংসাপত্রগুলিকে লক করুন এবং শুধুমাত্র কয়েকটি অ্যাকাউন্ট এবং পরিষেবা পরিচালনার কাজ সম্পাদন করতে ব্যবহার করুন৷

Mixtral-8x7b মডেলের জন্য একটি ml.g5.48x বড় উদাহরণ প্রয়োজন। সেজমেকার জাম্পস্টার্ট 100 টিরও বেশি ভিন্ন ওপেন সোর্স এবং থার্ড-পার্টি ফাউন্ডেশন মডেল অ্যাক্সেস এবং স্থাপন করার একটি সরলীকৃত উপায় প্রদান করে। যাতে SageMaker JumpStart থেকে Mixtral-8x7B হোস্ট করার জন্য একটি এন্ডপয়েন্ট চালু করুন, এন্ডপয়েন্ট ব্যবহারের জন্য একটি ml.g5.48xlarge ইনস্ট্যান্স অ্যাক্সেস করতে আপনাকে পরিষেবা কোটা বৃদ্ধির অনুরোধ করতে হতে পারে। তুমি পারবে অনুরোধ সেবা কোটা বৃদ্ধি কনসোলের মাধ্যমে, এডাব্লুএস কমান্ড লাইন ইন্টারফেস (AWS CLI), বা API সেই অতিরিক্ত সংস্থানগুলিতে অ্যাক্সেসের অনুমতি দিতে।

একটি সেজমেকার নোটবুক উদাহরণ সেট আপ করুন এবং নির্ভরতা ইনস্টল করুন

শুরু করতে, একটি সেজমেকার নোটবুক উদাহরণ তৈরি করুন এবং প্রয়োজনীয় নির্ভরতাগুলি ইনস্টল করুন। পড়ুন গিটহুব রেপো একটি সফল সেটআপ নিশ্চিত করতে। আপনি নোটবুক উদাহরণ সেট আপ করার পরে, আপনি মডেল স্থাপন করতে পারেন।

আপনি আপনার পছন্দের ইন্টিগ্রেটেড ডেভেলপমেন্ট এনভায়রনমেন্টে (IDE) স্থানীয়ভাবে নোটবুক চালাতে পারেন। আপনার জুপিটার নোটবুক ল্যাব ইনস্টল করা আছে তা নিশ্চিত করুন।

মডেল মোতায়েন করুন

SageMaker JumpStart-এ Mixtral-8X7B নির্দেশ LLM মডেল স্থাপন করুন:

# Import the JumpStartModel class from the SageMaker JumpStart library
from sagemaker.jumpstart.model import JumpStartModel

# Specify the model ID for the HuggingFace Mixtral 8x7b Instruct LLM model
model_id = "huggingface-llm-mixtral-8x7b-instruct"
model = JumpStartModel(model_id=model_id)
llm_predictor = model.deploy()

সেজমেকার জাম্পস্টার্টে বিজিই লার্জ এন এমবেডিং মডেল স্থাপন করুন:

# Specify the model ID for the HuggingFace BGE Large EN Embedding model
model_id = "huggingface-sentencesimilarity-bge-large-en"
text_embedding_model = JumpStartModel(model_id=model_id)
embedding_predictor = text_embedding_model.deploy()

ল্যাংচেইন সেট আপ করুন

সমস্ত প্রয়োজনীয় লাইব্রেরি আমদানি এবং Mixtral-8x7B মডেল এবং BGE Large En embeddings মডেল স্থাপন করার পরে, আপনি এখন LangChain সেট আপ করতে পারেন। ধাপে ধাপে নির্দেশাবলীর জন্য, দেখুন গিটহুব রেপো.

ডেটা প্রস্তুতি

এই পোস্টে, আমরা QnA সঞ্চালনের জন্য শেয়ারহোল্ডারদের কাছে আমাজনের কয়েক বছরের চিঠিগুলি একটি পাঠ্য সংস্থা হিসাবে ব্যবহার করি৷ তথ্য প্রস্তুত করার জন্য আরো বিস্তারিত পদক্ষেপের জন্য, পড়ুন গিটহুব রেপো.

প্রশ্নের উত্তর

ডেটা প্রস্তুত হয়ে গেলে, আপনি ল্যাংচেইন দ্বারা প্রদত্ত র‌্যাপার ব্যবহার করতে পারেন, যা ভেক্টর স্টোরের চারপাশে মোড়ানো হয় এবং LLM-এর জন্য ইনপুট নেয়। এই মোড়ক নিম্নলিখিত পদক্ষেপগুলি সঞ্চালন করে:

1. ইনপুট প্রশ্ন নিন।
2. একটি প্রশ্ন এম্বেডিং তৈরি করুন।
3. প্রাসঙ্গিক নথি আনুন.
4. নথি এবং প্রশ্ন একটি প্রম্পটে অন্তর্ভুক্ত করুন।
5. প্রম্পট সহ মডেলটি আহ্বান করুন এবং একটি পাঠযোগ্য পদ্ধতিতে উত্তর তৈরি করুন।

এখন যেহেতু ভেক্টর স্টোরটি রয়েছে, আপনি প্রশ্ন জিজ্ঞাসা করা শুরু করতে পারেন:

prompt_template = """<s>[INST]
{query}
[INST]"""
PROMPT = PromptTemplate(
    template=prompt_template, input_variables=["query"]
)
query = "How has AWS evolved?"
answer = wrapper_store_faiss.query(question=PROMPT.format(query=query), llm=llm)
print(answer)
AWS, or Amazon Web Services, has evolved significantly since its initial launch in 2006. It started as a feature-poor service, offering only one instance size, in one data center, in one region of the world, with Linux operating system instances only. There was no monitoring, load balancing, auto-scaling, or persistent storage at the time. However, AWS had a successful launch and has since grown into a multi-billion-dollar service.

Over the years, AWS has added numerous features and services, with over 3,300 new ones launched in 2022 alone. They have expanded their offerings to include Windows, monitoring, load balancing, auto-scaling, and persistent storage. AWS has also made significant investments in long-term inventions that have changed what's possible in technology infrastructure.

One example of this is their investment in chip development. AWS has also seen a robust new customer pipeline and active migrations, with many companies opting to move to AWS for the agility, innovation, cost-efficiency, and security benefits it offers. AWS has transformed how customers, from start-ups to multinational companies to public sector organizations, manage their technology infrastructure.

নিয়মিত উদ্ধারকারী চেইন

পূর্ববর্তী দৃশ্যে, আমরা আপনার প্রশ্নের একটি প্রসঙ্গ-সচেতন উত্তর পেতে দ্রুত এবং সহজবোধ্য উপায় অন্বেষণ করেছি। এখন RetrievalQA-এর সাহায্যে আরও কাস্টমাইজযোগ্য বিকল্পের দিকে নজর দেওয়া যাক, যেখানে আপনি চেইন_টাইপ প্যারামিটার ব্যবহার করে প্রম্পটে কীভাবে নথিগুলি যোগ করা উচিত তা কাস্টমাইজ করতে পারেন। এছাড়াও, কতগুলি প্রাসঙ্গিক নথি পুনরুদ্ধার করা উচিত তা নিয়ন্ত্রণ করার জন্য, আপনি বিভিন্ন আউটপুট দেখতে নিম্নলিখিত কোডে k প্যারামিটার পরিবর্তন করতে পারেন। অনেক পরিস্থিতিতে, আপনি জানতে চাইতে পারেন কোন উৎস নথি LLM উত্তর তৈরি করতে ব্যবহার করেছে। আপনি আউটপুট ব্যবহার করে যারা নথি পেতে পারেন return_source_documents, যা LLM প্রম্পটের প্রসঙ্গে যোগ করা নথিগুলিকে ফেরত দেয়। RetrievalQA আপনাকে একটি কাস্টম প্রম্পট টেমপ্লেট প্রদান করার অনুমতি দেয় যা মডেলের জন্য নির্দিষ্ট হতে পারে।

from langchain.chains import RetrievalQA

prompt_template = """<s>[INST]
Use the following pieces of context to provide a concise answer to the question at the end. If you don't know the answer, just say that you don't know, don't try to make up an answer.

{context}

Question: {question}

[INST]"""
PROMPT = PromptTemplate(
    template=prompt_template, input_variables=["context", "question"]
)

qa = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    retriever=vectorstore_faiss.as_retriever(
        search_type="similarity", search_kwargs={"k": 3}
    ),
    return_source_documents=True,
    chain_type_kwargs={"prompt": PROMPT}
)

আসুন একটি প্রশ্ন জিজ্ঞাসা করি:

query = "How did AWS evolve?"
result = qa({"query": query})
print(result['result'])
AWS (Amazon Web Services) evolved from an initially unprofitable investment to an $85B annual revenue run rate business with strong profitability, offering a wide range of services and features, and becoming a significant part of Amazon's portfolio. Despite facing skepticism and short-term headwinds, AWS continued to innovate, attract new customers, and migrate active customers, offering benefits such as agility, innovation, cost-efficiency, and security. AWS also expanded its long-term investments, including chip development, to provide new capabilities and change what's possible for its customers.

অভিভাবক নথি উদ্ধারকারী চেইন

এর সাহায্যে আরও উন্নত RAG বিকল্পটি দেখুন প্যারেন্ট ডকুমেন্ট রিট্রিভার. নথি পুনরুদ্ধারের সাথে কাজ করার সময়, আপনি সঠিক এম্বেডিংয়ের জন্য একটি নথির ছোট অংশ সংরক্ষণ এবং আরও প্রসঙ্গ সংরক্ষণের জন্য বড় নথিগুলির মধ্যে একটি ট্রেড-অফের সম্মুখীন হতে পারেন৷ প্যারেন্ট ডকুমেন্ট পুনরুদ্ধারকারী তথ্যের ছোট অংশগুলিকে বিভক্ত এবং সংরক্ষণ করে সেই ভারসাম্য রক্ষা করে।

আমরা একটি ব্যবহার parent_splitter মূল নথিগুলিকে বৃহত্তর খণ্ডে ভাগ করা যাকে প্যারেন্ট ডকুমেন্ট বলা হয় এবং ক child_splitter মূল নথি থেকে ছোট শিশু নথি তৈরি করতে:

# This text splitter is used to create the parent documents
parent_splitter = RecursiveCharacterTextSplitter(chunk_size=2000)

# This text splitter is used to create the child documents
# It should create documents smaller than the parent
child_splitter = RecursiveCharacterTextSplitter(chunk_size=400)

# The vectorstore to use to index the child chunks
vectorstore_faiss = FAISS.from_documents(
    child_splitter.split_documents(documents),
    sagemaker_embeddings,
)

শিশুর নথিগুলি তখন এম্বেডিং ব্যবহার করে একটি ভেক্টর স্টোরে সূচীভুক্ত করা হয়। এটি সাদৃশ্যের উপর ভিত্তি করে প্রাসঙ্গিক শিশু নথিগুলির দক্ষ পুনরুদ্ধার সক্ষম করে। প্রাসঙ্গিক তথ্য পুনরুদ্ধার করতে, অভিভাবক নথি পুনরুদ্ধারকারী প্রথমে ভেক্টর স্টোর থেকে চাইল্ড ডকুমেন্ট নিয়ে আসে। এটি তারপর সেই শিশু নথিগুলির জন্য পিতামাতার আইডিগুলি সন্ধান করে এবং সংশ্লিষ্ট বড় পিতামাতার নথিগুলি ফেরত দেয়৷

qa = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    retriever=retriever,
    return_source_documents=True,
    chain_type_kwargs={"prompt": PROMPT}
)

আসুন একটি প্রশ্ন জিজ্ঞাসা করি:

query = "How did AWS evolve?"
result = qa({"query": query})
print(result['result'])
AWS (Amazon Web Services) started with a feature-poor initial launch of the Elastic Compute Cloud (EC2) service in 2006, providing only one instance size, in one data center, in one region of the world, with Linux operating system instances only, and without many key features like monitoring, load balancing, auto-scaling, or persistent storage. However, AWS's success allowed them to quickly iterate and add the missing capabilities, eventually expanding to offer various flavors, sizes, and optimizations of compute, storage, and networking, as well as developing their own chips (Graviton) to push price and performance further. AWS's iterative innovation process required significant investments in financial and people resources over 20 years, often well in advance of when it would pay out, to meet customer needs and improve long-term customer experiences, loyalty, and returns for shareholders.

প্রাসঙ্গিক কম্প্রেশন চেইন

এর নামক আরেকটি উন্নত RAG বিকল্প দেখুন প্রাসঙ্গিক সংকোচন. পুনরুদ্ধারের সাথে একটি চ্যালেঞ্জ হল যে সাধারণত আমরা জানি না যে নির্দিষ্ট প্রশ্নগুলি আপনার ডকুমেন্ট স্টোরেজ সিস্টেমের মুখোমুখি হবে যখন আপনি সিস্টেমে ডেটা ইনজেস্ট করবেন। এর মানে হল যে একটি প্রশ্নের সাথে সবচেয়ে প্রাসঙ্গিক তথ্যগুলি অনেক অপ্রাসঙ্গিক পাঠ্য সহ একটি নথিতে সমাহিত হতে পারে৷ আপনার আবেদনের মাধ্যমে সেই পূর্ণ নথিটি পাস করলে আরও ব্যয়বহুল LLM কল এবং খারাপ প্রতিক্রিয়া হতে পারে।

প্রাসঙ্গিক সংকোচন পুনরুদ্ধারকারী একটি নথি স্টোরেজ সিস্টেম থেকে প্রাসঙ্গিক তথ্য পুনরুদ্ধার করার চ্যালেঞ্জ মোকাবেলা করে, যেখানে প্রাসঙ্গিক ডেটা প্রচুর পাঠ্যযুক্ত নথির মধ্যে সমাহিত হতে পারে। প্রদত্ত ক্যোয়ারী প্রসঙ্গের উপর ভিত্তি করে পুনরুদ্ধার করা নথিগুলিকে সংকুচিত এবং ফিল্টার করে, শুধুমাত্র সবচেয়ে প্রাসঙ্গিক তথ্য ফেরত দেওয়া হয়।

প্রাসঙ্গিক কম্প্রেশন পুনরুদ্ধার ব্যবহার করতে, আপনার প্রয়োজন হবে:

• একটি বেস উদ্ধারকারী - এটি হল প্রাথমিক পুনরুদ্ধার যা ক্যোয়ারির উপর ভিত্তি করে স্টোরেজ সিস্টেম থেকে নথি সংগ্রহ করে
• একটি নথি সংকোচকারী - এই উপাদানটি প্রাথমিকভাবে পুনরুদ্ধার করা নথিগুলি নেয় এবং প্রাসঙ্গিকতা নির্ধারণের জন্য ক্যোয়ারী প্রসঙ্গ ব্যবহার করে পৃথক নথির বিষয়বস্তু হ্রাস করে বা অপ্রাসঙ্গিক নথিগুলি সম্পূর্ণ বাদ দিয়ে সেগুলিকে ছোট করে।

একটি এলএলএম চেইন এক্সট্র্যাক্টরের সাথে প্রাসঙ্গিক সংকোচন যুক্ত করা হচ্ছে

প্রথমত, একটি দিয়ে আপনার বেস রিট্রিভার মোড়ানো ContextualCompressionRetriever. আপনি একটি যোগ করব এলএলএমচেইন এক্সট্র্যাক্টর, যা প্রাথমিকভাবে প্রত্যাবর্তিত নথিগুলির উপর পুনরাবৃত্তি করবে এবং প্রতিটি থেকে শুধুমাত্র ক্যোয়ারীটির সাথে প্রাসঙ্গিক বিষয়বস্তু বের করবে।

from langchain.retrievers import ContextualCompressionRetrieverfrom langchain.retrievers.document_compressors import LLMChainExtractor

text_splitter = RecursiveCharacterTextSplitter(
    # Set a really small chunk size, just to show.
    chunk_size=1000,
    chunk_overlap=100,
)

docs = text_splitter.split_documents(documents)
retriever = FAISS.from_documents(
    docs,
    sagemaker_embeddings,
).as_retriever()

compressor = LLMChainExtractor.from_llm(llm)
compression_retriever = ContextualCompressionRetriever(
    base_compressor=compressor, base_retriever=retriever
)

compressed_docs = compression_retriever.get_relevant_documents(
    "How was Amazon impacted by COVID-19?"
)

ব্যবহার করে চেইন আরম্ভ করুন ContextualCompressionRetriever একটি সঙ্গে LLMChainExtractor এবং এর মাধ্যমে প্রম্পটটি পাস করুন chain_type_kwargs যুক্তি.

qa = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    retriever=compression_retriever,
    return_source_documents=True,
    chain_type_kwargs={"prompt": PROMPT}
)

আসুন একটি প্রশ্ন জিজ্ঞাসা করি:

query = "How did AWS evolve?"
result = qa({"query": query})
print(result['result'])
AWS evolved by starting as a small project inside Amazon, requiring significant capital investment and facing skepticism from both inside and outside the company. However, AWS had a head start on potential competitors and believed in the value it could bring to customers and Amazon. AWS made a long-term commitment to continue investing, resulting in over 3,300 new features and services launched in 2022. AWS has transformed how customers manage their technology infrastructure and has become an $85B annual revenue run rate business with strong profitability. AWS has also continuously improved its offerings, such as enhancing EC2 with additional features and services after its initial launch.

একটি LLM চেইন ফিল্টার দিয়ে নথি ফিল্টার করুন

সার্জারির এলএলএমচেইন ফিল্টার একটি সামান্য সহজ কিন্তু আরও শক্তিশালী কম্প্রেসার যা একটি LLM চেইন ব্যবহার করে প্রাথমিকভাবে পুনরুদ্ধার করা নথিগুলির মধ্যে কোনটি ফিল্টার আউট করতে হবে এবং কোনটি ফেরত দিতে হবে, নথির বিষয়বস্তুতে হেরফের না করেই:

from langchain.retrievers.document_compressors import LLMChainFilter

_filter = LLMChainFilter.from_llm(llm)
compression_retriever = ContextualCompressionRetriever(
    base_compressor=_filter, base_retriever=retriever
)

compressed_docs = compression_retriever.get_relevant_documents(
    "How was Amazon impacted by COVID-19?"
)
print(compressed_docs)

ব্যবহার করে চেইন আরম্ভ করুন ContextualCompressionRetriever একটি সঙ্গে LLMChainFilter এবং এর মাধ্যমে প্রম্পটটি পাস করুন chain_type_kwargs যুক্তি.

qa = RetrievalQA.from_chain_type(
    llm=llm,
    chain_type="stuff",
    retriever=compression_retriever,
    return_source_documents=True,
    chain_type_kwargs={"prompt": PROMPT}
)

আসুন একটি প্রশ্ন জিজ্ঞাসা করি:

query = "How did AWS evolve?"
result = qa({"query": query})
print(result['result'])
AWS (Amazon Web Services) evolved by initially launching feature-poor but iterating quickly based on customer feedback to add necessary capabilities. This approach allowed AWS to launch EC2 in 2006 with limited features and then continuously add new functionalities, such as additional instance sizes, data centers, regions, operating system options, monitoring tools, load balancing, auto-scaling, and persistent storage. Over time, AWS transformed from a feature-poor service to a multi-billion-dollar business by focusing on customer needs, agility, innovation, cost-efficiency, and security. AWS now has an $85B annual revenue run rate and offers over 3,300 new features and services each year, catering to a wide range of customers from start-ups to multinational companies and public sector organizations.

ফলাফল তুলনা করুন

নিম্নলিখিত সারণী কৌশলের উপর ভিত্তি করে বিভিন্ন প্রশ্নের ফলাফলের তুলনা করে।

এই বিভিন্ন কৌশলগুলির তুলনা করার পরে, আমরা দেখতে পাচ্ছি যে একটি সাধারণ পরিষেবা থেকে জটিল, বহু-বিলিয়ন-ডলার সত্তায় AWS-এর রূপান্তরের বিশদ বিবরণ, বা Amazon-এর কৌশলগত সাফল্যগুলি ব্যাখ্যা করার মতো প্রেক্ষাপটে, নিয়মিত পুনরুদ্ধারকারী চেইনে আরও অত্যাধুনিক কৌশলগুলি অফার করে এমন স্পষ্টতার অভাব রয়েছে, কম লক্ষ্যযুক্ত তথ্যের দিকে পরিচালিত করে। যদিও আলোচিত উন্নত কৌশলগুলির মধ্যে খুব কম পার্থক্য দৃশ্যমান, তবে তারা নিয়মিত পুনরুদ্ধারকারী চেইনের তুলনায় অনেক বেশি তথ্যপূর্ণ।

স্বাস্থ্যসেবা, টেলিযোগাযোগ এবং আর্থিক পরিষেবাগুলির মতো শিল্পের গ্রাহকদের জন্য যারা তাদের অ্যাপ্লিকেশনগুলিতে RAG প্রয়োগ করতে চাইছেন, যথার্থতা প্রদানে, অপ্রয়োজনীয়তা এড়াতে এবং কার্যকরভাবে তথ্য সংকুচিত করার ক্ষেত্রে নিয়মিত পুনরুদ্ধার চেইনের সীমাবদ্ধতাগুলি তুলনামূলকভাবে এই চাহিদাগুলি পূরণের জন্য কম উপযুক্ত করে তোলে। আরও উন্নত প্যারেন্ট ডকুমেন্ট রিট্রিভার এবং প্রাসঙ্গিক সংকোচন কৌশল। এই কৌশলগুলি মূল্য-কর্মক্ষমতা উন্নত করতে সাহায্য করার সাথে সাথে আপনার প্রয়োজনীয় ঘনীভূত, প্রভাবশালী অন্তর্দৃষ্টিগুলিতে প্রচুর পরিমাণে তথ্য পাতন করতে সক্ষম।

পরিষ্কার কর

যখন আপনি নোটবুক চালানো শেষ করেন, ব্যবহার করা সংস্থানগুলির জন্য চার্জগুলি এড়াতে আপনার তৈরি সংস্থানগুলি মুছুন:

# Delete resources
llm_predictor.delete_model()
llm_predictor.delete_endpoint()
embedding_predictor.delete_model()
embedding_predictor.delete_endpoint()

উপসংহার

এই পোস্টে, আমরা একটি সমাধান উপস্থাপন করেছি যা আপনাকে প্যারেন্ট ডকুমেন্ট পুনরুদ্ধার এবং প্রাসঙ্গিক কম্প্রেশন চেইন কৌশলগুলি বাস্তবায়ন করতে দেয় যাতে LLM-এর তথ্য প্রক্রিয়াকরণ এবং জেনারেট করার ক্ষমতা বাড়ানো যায়। আমরা SageMaker JumpStart-এর সাথে উপলব্ধ Mixtral-8x7B নির্দেশ এবং BGE Large En মডেলগুলির সাথে এই উন্নত RAG কৌশলগুলি পরীক্ষা করেছি। আমরা এম্বেডিং এবং নথির অংশ এবং এন্টারপ্রাইজ ডেটা স্টোরের সাথে একীকরণের জন্য অবিরাম স্টোরেজ ব্যবহার করে অন্বেষণ করেছি।

আমরা যে কৌশলগুলি সম্পাদিত করেছি তা কেবলমাত্র এলএলএম মডেলগুলির অ্যাক্সেস এবং বাহ্যিক জ্ঞানকে অন্তর্ভুক্ত করার উপায়কে পরিমার্জিত করে না, তবে তাদের আউটপুটগুলির গুণমান, প্রাসঙ্গিকতা এবং দক্ষতাকে উল্লেখযোগ্যভাবে উন্নত করে। ভাষা তৈরির ক্ষমতার সাথে বৃহৎ টেক্সট কর্পোরা থেকে পুনরুদ্ধারকে একত্রিত করে, এই উন্নত RAG কৌশলগুলি এলএলএমগুলিকে আরও বাস্তবসম্মত, সুসংগত, এবং প্রসঙ্গ-উপযুক্ত প্রতিক্রিয়া তৈরি করতে সক্ষম করে, বিভিন্ন প্রাকৃতিক ভাষা প্রক্রিয়াকরণের কাজগুলিতে তাদের কার্যকারিতা বাড়ায়।

সেজমেকার জাম্পস্টার্ট এই সমাধানের কেন্দ্রে রয়েছে। SageMaker JumpStart-এর মাধ্যমে, আপনি ওপেন এবং ক্লোজড সোর্স মডেলের বিস্তৃত ভাণ্ডারে অ্যাক্সেস লাভ করেন, ML-এর সাথে শুরু করার প্রক্রিয়াটিকে সুগম করে এবং দ্রুত পরীক্ষা-নিরীক্ষা ও স্থাপনা সক্ষম করে। এই সমাধানটি স্থাপন করা শুরু করতে, এর মধ্যে নোটবুকে নেভিগেট করুন৷ গিটহুব রেপো.

লেখক সম্পর্কে

নিথিয়েন বিজয়স্বরণ AWS-এর একজন সলিউশন আর্কিটেক্ট। তার মনোযোগের ক্ষেত্র হল জেনারেটিভ এআই এবং এডব্লিউএস এআই অ্যাক্সিলারেটর। তিনি কম্পিউটার সায়েন্স এবং বায়োইনফরমেটিক্সে স্নাতক ডিগ্রি অর্জন করেছেন। Niithiyn জেনারেটিভ AI GTM টিমের সাথে ঘনিষ্ঠভাবে কাজ করে যাতে AWS গ্রাহকদের একাধিক ফ্রন্টে সক্ষম করে এবং তাদের জেনারেটিভ AI গ্রহণকে ত্বরান্বিত করে। তিনি ডালাস ম্যাভেরিক্সের একজন উত্সাহী ভক্ত এবং স্নিকার্স সংগ্রহ করা উপভোগ করেন।

সেবাস্তিয়ান বুস্টিলো AWS-এর একজন সলিউশন আর্কিটেক্ট। তিনি জেনারেটিভ এআই এবং কম্পিউট অ্যাক্সিলারেটরের জন্য গভীর আবেগের সাথে AI/ML প্রযুক্তির উপর ফোকাস করেন। AWS-এ, তিনি গ্রাহকদের জেনারেটিভ AI এর মাধ্যমে ব্যবসায়িক মূল্য আনলক করতে সাহায্য করেন। যখন তিনি কর্মস্থলে থাকেন না, তখন তিনি একটি নিখুঁত কাপ বিশেষ কফি তৈরি করতে এবং তার স্ত্রীর সাথে বিশ্ব অন্বেষণ উপভোগ করেন।

আরমান্দো দিয়াজ AWS-এর একজন সলিউশন আর্কিটেক্ট। তিনি জেনারেটিভ এআই, এআই/এমএল এবং ডেটা অ্যানালিটিক্সের উপর ফোকাস করেন। AWS-এ, Armando গ্রাহকদের তাদের সিস্টেমে অত্যাধুনিক জেনারেটিভ AI সক্ষমতা একীভূত করতে, উদ্ভাবন এবং প্রতিযোগিতামূলক সুবিধা বাড়াতে সাহায্য করে। যখন তিনি কর্মস্থলে থাকেন না, তখন তিনি তার স্ত্রী এবং পরিবারের সাথে সময় কাটাতে, হাইকিং এবং বিশ্ব ভ্রমণ উপভোগ করেন।

ফারুক সাবির ডা AWS-এর একজন সিনিয়র আর্টিফিশিয়াল ইন্টেলিজেন্স এবং মেশিন লার্নিং স্পেশালিস্ট সলিউশন আর্কিটেক্ট। তিনি অস্টিনের টেক্সাস বিশ্ববিদ্যালয় থেকে ইলেকট্রিক্যাল ইঞ্জিনিয়ারিংয়ে পিএইচডি এবং এমএস ডিগ্রি এবং জর্জিয়া ইনস্টিটিউট অফ টেকনোলজি থেকে কম্পিউটার সায়েন্সে এমএস ডিগ্রি অর্জন করেছেন। তার 15 বছরেরও বেশি কাজের অভিজ্ঞতা রয়েছে এবং তিনি কলেজের শিক্ষার্থীদের পড়াতে ও পরামর্শ দিতে পছন্দ করেন। AWS-এ, তিনি গ্রাহকদের ডেটা সায়েন্স, মেশিন লার্নিং, কম্পিউটার ভিশন, কৃত্রিম বুদ্ধিমত্তা, সংখ্যাসূচক অপ্টিমাইজেশান এবং সম্পর্কিত ডোমেনে তাদের ব্যবসায়িক সমস্যাগুলি তৈরি করতে এবং সমাধান করতে সহায়তা করেন৷ ডালাস, টেক্সাসে অবস্থিত, তিনি এবং তার পরিবার ভ্রমণ করতে এবং দীর্ঘ সড়ক ভ্রমণে যেতে পছন্দ করেন।

মার্কো পুনিও একজন সলিউশন আর্কিটেক্ট যিনি জেনারেটিভ AI কৌশলের উপর দৃষ্টি নিবদ্ধ করেন, AI সমাধান প্রয়োগ করেন এবং গ্রাহকদের AWS-এ হাইপার-স্কেল সাহায্য করার জন্য গবেষণা পরিচালনা করেন। মার্কো হলেন একজন ডিজিটাল নেটিভ ক্লাউড উপদেষ্টা যার অভিজ্ঞতা ফিনটেক, হেলথ কেয়ার এবং লাইফ সায়েন্সেস, সফটওয়্যার-এ-এ-সার্ভিস, এবং অতি সম্প্রতি, টেলিকমিউনিকেশন শিল্পে। তিনি মেশিন লার্নিং, কৃত্রিম বুদ্ধিমত্তা, এবং একীভূতকরণ এবং অধিগ্রহণের প্রতি আবেগ সহ একজন যোগ্যতাসম্পন্ন প্রযুক্তিবিদ। মার্কো সিয়াটেল, WA-তে অবস্থিত এবং তার অবসর সময়ে লেখা, পড়া, ব্যায়াম এবং অ্যাপ্লিকেশন তৈরি করা উপভোগ করে।

এ জে ধীমিন AWS-এর একজন সলিউশন আর্কিটেক্ট। তিনি জেনারেটিভ এআই, সার্ভারহীন কম্পিউটিং এবং ডেটা বিশ্লেষণে বিশেষজ্ঞ। তিনি মেশিন লার্নিং টেকনিক্যাল ফিল্ড কমিউনিটির একজন সক্রিয় সদস্য/পরামর্শদাতা এবং বিভিন্ন এআই/এমএল বিষয়ে বেশ কিছু বৈজ্ঞানিক গবেষণাপত্র প্রকাশ করেছেন। তিনি গ্রাহকদের সাথে কাজ করেন, স্টার্ট-আপ থেকে শুরু করে এন্টারপ্রাইজ পর্যন্ত, AWSome জেনারেটিভ এআই সমাধান বিকাশ করতে। তিনি বিশেষভাবে উন্নত ডেটা অ্যানালিটিক্সের জন্য বড় ল্যাঙ্গুয়েজ মডেলের ব্যবহার এবং বাস্তব-বিশ্বের চ্যালেঞ্জ মোকাবেলা করে এমন ব্যবহারিক অ্যাপ্লিকেশনগুলি অন্বেষণ করার বিষয়ে বিশেষভাবে উত্সাহী৷ কাজের বাইরে, AJ ভ্রমণ উপভোগ করে এবং বর্তমানে বিশ্বের প্রতিটি দেশে ভ্রমণের লক্ষ্য নিয়ে 53টি দেশে রয়েছে।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
• প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
• প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
• উত্স: https://aws.amazon.com/blogs/machine-learning/advanced-rag-patterns-on-amazon-sagemaker/