সার্জারির IDP ভাল-আর্কিটেক্টেড কাস্টম লেন্স সমস্ত AWS গ্রাহকদের জন্য যারা বুদ্ধিমান ডকুমেন্ট প্রসেসিং (IDP) সমাধান চালানোর জন্য AWS ব্যবহার করে এবং AWS-এ কীভাবে একটি নিরাপদ, দক্ষ, এবং নির্ভরযোগ্য IDP সমাধান তৈরি করা যায় সে সম্পর্কে নির্দেশিকা অনুসন্ধান করছে।

ক্লাউডে একটি উত্পাদন-প্রস্তুত সমাধান তৈরি করা সম্পদ, সময়, গ্রাহকের প্রত্যাশা এবং ব্যবসার ফলাফলের মধ্যে ট্রেড-অফের একটি সিরিজ জড়িত। দ্য এডাব্লুএস ভাল-আর্কিটেটেড ফ্রেমওয়ার্ক AWS-এ কাজের চাপ তৈরি করার সময় আপনার নেওয়া সিদ্ধান্তের সুবিধা এবং ঝুঁকি বুঝতে সাহায্য করে। ফ্রেমওয়ার্ক ব্যবহার করে, আপনি ক্লাউডে নির্ভরযোগ্য, নিরাপদ, দক্ষ, সাশ্রয়ী, এবং টেকসই কাজের চাপ ডিজাইন এবং পরিচালনার জন্য অপারেশনাল এবং আর্কিটেকচারাল সেরা অনুশীলন শিখবেন।

একটি IDP প্রকল্প সাধারণত একটি নথি পড়তে এবং বুঝতে এবং নির্দিষ্ট পদ বা শব্দগুলি বের করতে অপটিক্যাল ক্যারেক্টার রিকগনিশন (OCR) এবং প্রাকৃতিক ভাষা প্রক্রিয়াকরণ (NLP) একত্রিত করে। IDP ওয়েল-আর্কিটেক্টেড কাস্টম লেন্স একটি AWS ওয়েল-আর্কিটেক্টেড রিভিউ সম্পাদনের জন্য পদক্ষেপগুলির রূপরেখা দেয় যা আপনাকে আপনার IDP কাজের চাপের প্রযুক্তিগত ঝুঁকিগুলিকে মূল্যায়ন এবং সনাক্ত করতে দেয়। এটি ক্ষেত্রগুলির মধ্যে আমরা যে সাধারণ চ্যালেঞ্জগুলি দেখি তা মোকাবেলা করার জন্য নির্দেশিকা প্রদান করে, আপনাকে সর্বোত্তম অনুশীলন অনুসারে আপনার IDP কাজের লোডগুলিকে আর্কিটেক্ট করতে সহায়তা করে৷

এই পোস্টটি IDP সমাধানের নির্ভরযোগ্যতা স্তম্ভের উপর দৃষ্টি নিবদ্ধ করে। নির্ভরযোগ্যতা স্তম্ভ এবং নকশা নীতিগুলির প্রবর্তন থেকে শুরু করে, আমরা তারপরে তিনটি ফোকাস ক্ষেত্র সহ সমাধান নকশা এবং বাস্তবায়নের গভীরে ডুব দিই: ভিত্তি, পরিবর্তন ব্যবস্থাপনা এবং ব্যর্থতা ব্যবস্থাপনা। এই পোস্টটি পড়ে, আপনি IDP কেস স্টাডি সহ ভাল-আর্কিটেক্টেড ফ্রেমওয়ার্কের নির্ভরযোগ্যতা স্তম্ভ সম্পর্কে শিখবেন।

নকশার মূলনীতি

নির্ভরযোগ্যতা স্তম্ভটি প্রত্যাশিত এবং সংজ্ঞায়িত ব্যবসায়িক নিয়ম অনুসারে নথি প্রক্রিয়াকরণ সঠিকভাবে এবং ধারাবাহিকভাবে সম্পাদন করার জন্য একটি IDP সমাধানের ক্ষমতাকে অন্তর্ভুক্ত করে। এর মধ্যে সম্পূর্ণ IDP কর্মপ্রবাহ এবং এর মোট জীবনচক্র পরিচালনা ও পরীক্ষা করার ক্ষমতা অন্তর্ভুক্ত।

এমন অনেকগুলি নীতি রয়েছে যা আপনাকে নির্ভরযোগ্যতা বাড়াতে সাহায্য করতে পারে। আমরা সর্বোত্তম অনুশীলন নিয়ে আলোচনা করার সময় এগুলি মনে রাখবেন:

• ব্যর্থতা থেকে স্বয়ংক্রিয়ভাবে পুনরুদ্ধার করুন - কী পারফরম্যান্স ইন্ডিকেটর (KPIs) এর জন্য আপনার IDP ওয়ার্কফ্লো নিরীক্ষণ করে, যখন একটি থ্রেশহোল্ড লঙ্ঘন হয় তখন আপনি অটোমেশন চালাতে পারেন। এটি আপনাকে ট্র্যাক করতে এবং কোনও ব্যর্থতা ঘটলে স্বয়ংক্রিয়ভাবে অবহিত হওয়ার অনুমতি দেয় এবং স্বয়ংক্রিয় পুনরুদ্ধার প্রক্রিয়াগুলিকে ট্রিগার করে যা ব্যর্থতার চারপাশে কাজ করে বা মেরামত করে৷ KPI পরিমাপের উপর ভিত্তি করে, আপনি ব্যর্থতার পূর্বাভাস দিতে পারেন এবং সেগুলি হওয়ার আগে প্রতিকারমূলক পদক্ষেপগুলি প্রয়োগ করতে পারেন।
• পরীক্ষা পুনরুদ্ধারের পদ্ধতি - আপনার IDP কর্মপ্রবাহ কীভাবে ব্যর্থ হয় তা পরীক্ষা করুন এবং পুনরুদ্ধারের পদ্ধতিগুলি যাচাই করুন। বিভিন্ন পরিস্থিতিতে অনুকরণ করতে অটোমেশন ব্যবহার করুন বা এমন পরিস্থিতিগুলিকে পুনরায় তৈরি করুন যা আগে ব্যর্থতার দিকে পরিচালিত করেছিল।
• স্কেল এবং সামঞ্জস্য পরিষেবা ক্ষমতা - IDP কর্মপ্রবাহের চাহিদা এবং ব্যবহার নিরীক্ষণ করুন, এবং স্বয়ংক্রিয়ভাবে AWS পরিষেবার ক্ষমতা সামঞ্জস্য করুন, অতিরিক্ত- বা কম-প্রভিশনিং ছাড়াই চাহিদা মেটাতে সর্বোত্তম স্তর বজায় রাখতে। নিয়ন্ত্রণ করুন এবং আপনার IDP উপাদান পরিষেবাগুলির পরিষেবা কোটা, সীমা এবং সীমাবদ্ধতা সম্পর্কে সচেতন থাকুন, যেমন অ্যামাজন টেক্সট্র্যাক এবং অ্যামাজন সমঝোতা.
• স্বয়ংক্রিয় পরিবর্তন - আপনার IDP ওয়ার্কফ্লো পরিকাঠামোতে পরিবর্তন প্রয়োগ করার সময় অটোমেশন ব্যবহার করুন। অটোমেশনের মাধ্যমে পরিবর্তনগুলি পরিচালনা করুন, যা তারপরে ট্র্যাক এবং পর্যালোচনা করা যেতে পারে।

ফোকাস এলাকা

নির্ভরযোগ্যতা স্তম্ভের নকশা নীতি এবং সর্বোত্তম অনুশীলনগুলি আমাদের গ্রাহকদের এবং আমাদের IDP প্রযুক্তিগত বিশেষজ্ঞ সম্প্রদায়ের কাছ থেকে সংগৃহীত অন্তর্দৃষ্টির উপর ভিত্তি করে। এগুলিকে আপনার ডিজাইনের সিদ্ধান্তের জন্য নির্দেশিকা এবং সমর্থন হিসাবে ব্যবহার করুন এবং আপনার IDP সমাধানের ব্যবসার প্রয়োজনীয়তার সাথে সারিবদ্ধ করুন। IDP ওয়েল-আর্কিটেক্টেড লেন্স প্রয়োগ করা আপনাকে আপনার IDP সলিউশন ডিজাইনের স্থিতিস্থাপকতা এবং দক্ষতা যাচাই করতে সাহায্য করে এবং আপনি চিহ্নিত করতে পারেন এমন কোনো ফাঁককে সমাধান করার জন্য সুপারিশ প্রদান করে।

ক্লাউডে একটি IDP সমাধানের নির্ভরযোগ্যতার জন্য নিম্নলিখিতগুলি সর্বোত্তম অনুশীলনের ক্ষেত্র:

• ফাউন্ডেশন - AWS AI পরিষেবাগুলি যেমন Amazon Textract এবং Amazon Comprehend ব্যবহারের বিভিন্ন মাত্রার জন্য নরম এবং শক্ত সীমার একটি সেট প্রদান করে। এই সীমাগুলি পর্যালোচনা করা এবং আপনার IDP সলিউশন যে কোনও কঠিন সীমা অতিক্রম না করে যে কোনও নরম সীমা মেনে চলে তা নিশ্চিত করা গুরুত্বপূর্ণ।
• ব্যবস্থাপনা পরিবর্তন - আপনার IDP সমাধানকে কোড (IaC) হিসাবে পরিকাঠামো হিসাবে বিবেচনা করুন, যা আপনাকে স্বয়ংক্রিয় পর্যবেক্ষণ এবং ব্যবস্থাপনা পরিবর্তন করতে দেয়। অবকাঠামো এবং Amazon Comprehend কাস্টম মডেলের মতো উপাদান জুড়ে সংস্করণ নিয়ন্ত্রণ ব্যবহার করুন এবং পয়েন্ট-ইন-টাইম রিলিজে পরিবর্তনগুলি ট্র্যাক করুন।
• ব্যর্থতা ব্যবস্থাপনা - যেহেতু একটি IDP ওয়ার্কফ্লো একটি ইভেন্ট-চালিত সমাধান, আপনার অ্যাপ্লিকেশন অবশ্যই পরিচিত এবং অজানা ত্রুটিগুলি পরিচালনা করার জন্য স্থিতিস্থাপক হতে হবে। একটি সু-স্থাপিত IDP সমাধানের ব্যর্থতা প্রতিরোধ করার ক্ষমতা রয়েছে এবং লগিং এবং পুনরায় চেষ্টা করার প্রক্রিয়া ব্যবহার করে ব্যর্থতাগুলি ঘটলে তা প্রতিরোধ করার ক্ষমতা রয়েছে। আপনার IDP ওয়ার্কফ্লো আর্কিটেকচারে স্থিতিস্থাপকতা ডিজাইন করা এবং দুর্যোগ পুনরুদ্ধারের জন্য পরিকল্পনা করা গুরুত্বপূর্ণ।

ফাউন্ডেশন

AWS AI পরিষেবাগুলি প্রস্তুত বুদ্ধিমত্তা প্রদান করে, যেমন স্বয়ংক্রিয় ডেটা নিষ্কাশন এবং বিশ্লেষণ, Amazon Textract ব্যবহার করে, Amazon Comprehend এবং অ্যামাজন অগমেন্টেড এআই (Amazon A2I), আপনার IDP কর্মপ্রবাহের জন্য। অতিরিক্ত বিধান এড়াতে এবং API অপারেশনগুলিতে অনুরোধের হার সীমিত করতে, পরিষেবাগুলিকে অপব্যবহারের হাত থেকে রক্ষা করতে এই পরিষেবাগুলির জন্য পরিষেবা সীমা (বা কোটা) রয়েছে৷

আপনার IDP সমাধান আর্কিটেকচার পরিকল্পনা এবং ডিজাইন করার সময়, নিম্নলিখিত সেরা অনুশীলনগুলি বিবেচনা করুন:

• অপরিবর্তনীয় Amazon Textract এবং Amazon Comprehend পরিষেবা কোটা, সীমা এবং সীমাবদ্ধতা সম্পর্কে সচেতন থাকুন – স্বীকৃত ফাইল ফরম্যাট, আকার এবং পৃষ্ঠার সংখ্যা, ভাষা, নথির ঘূর্ণন এবং চিত্রের আকার হল Amazon Textract-এর জন্য এই কঠিন সীমার কিছু উদাহরণ যা পরিবর্তন করা যাবে না।
  • স্বীকৃত ফাইল ফরম্যাটের মধ্যে JPEG, PNG, PDF, এবং TIFF ফাইল রয়েছে। (PDF এর মধ্যে JPEG 2000-এনকোড করা ছবি সমর্থিত)। ফাইল ফরম্যাট সমর্থিত না হলে Amazon Textract ব্যবহার করার আগে ডকুমেন্ট প্রিপ্রসেসিং প্রয়োজন (উদাহরণস্বরূপ, Microsoft Word বা Excel)। এই ক্ষেত্রে, আপনাকে অবশ্যই অসমর্থিত নথি বিন্যাসগুলিকে PDF বা চিত্র বিন্যাসে রূপান্তর করতে হবে।
  • Amazon Comprehend-এর অন্তর্নির্মিত মডেল, কাস্টম মডেল এবং ফ্লাইহুইলের জন্য বিভিন্ন কোটা রয়েছে। নিশ্চিত করুন যে আপনার ব্যবহারের ক্ষেত্রে Amazon Comprehend কোটার সাথে সারিবদ্ধ করা হয়েছে।
• আপনার প্রয়োজন মেটাতে Amazon Textract এবং Amazon Comprehend পরিষেবা কোটা সামঞ্জস্য করুন – অ্যামাজন টেক্সট্র্যাক্ট সার্ভিস কোটা ক্যালকুলেটর আপনাকে কোটা মান অনুমান করতে সাহায্য করতে পারে যা আপনার ব্যবহারের ক্ষেত্রে কভার করবে। আপনি যদি আপনার সমাধানের জন্য অ্যাকাউন্ট বা অঞ্চলগুলির মধ্যে একটি দুর্যোগ পুনরুদ্ধারের ব্যর্থতার পরিকল্পনা করছেন তবে আপনার অ্যাকাউন্ট বা অঞ্চল জুড়ে আপনার পরিষেবা কোটাগুলি পরিচালনা করা উচিত। Amazon Textract কোটা বৃদ্ধির অনুরোধ করার সময়, এই সুপারিশগুলি অনুসরণ করতে ভুলবেন না:
  • আপনার সর্বোত্তম কোটা মান অনুমান করতে Amazon Textract Service কোটা ক্যালকুলেটর ব্যবহার করুন।
  • অনুরোধে পরিবর্তনের ফলে স্পাইকি নেটওয়ার্ক ট্রাফিক হতে পারে, যা থ্রুপুটকে প্রভাবিত করে। ট্র্যাফিক মসৃণ করতে এবং প্রতি সেকেন্ডে আপনার বরাদ্দকৃত লেনদেন থেকে সর্বাধিক সুবিধা পেতে একটি সারিবদ্ধ সার্ভারহীন আর্কিটেকচার বা অন্যান্য প্রক্রিয়া ব্যবহার করুন (টিপিএস)।
  • থ্রটল করা কল এবং ড্রপ করা সংযোগগুলি পরিচালনা করতে পুনরায় চেষ্টা করার যুক্তি প্রয়োগ করুন৷
  • থ্রুপুট উন্নত করতে সূচকীয় ব্যাকঅফ এবং জিটার কনফিগার করুন।

ব্যবস্থাপনা পরিবর্তন

আপনার IDP কর্মপ্রবাহ বা এর পরিবেশে পরিবর্তন, যেমন চাহিদা বৃদ্ধি বা একটি দূষিত নথি ফাইল, সমাধানের উচ্চ নির্ভরযোগ্যতা অর্জনের জন্য অবশ্যই প্রত্যাশিত এবং মানিয়ে নিতে হবে। এই পরিবর্তনগুলির মধ্যে কিছু পূর্ববর্তী বিভাগে বর্ণিত ফাউন্ডেশনের সর্বোত্তম অনুশীলন দ্বারা আচ্ছাদিত, কিন্তু শুধুমাত্র পরিবর্তনগুলিকে সামঞ্জস্য করার জন্য যথেষ্ট নয়। নিম্নলিখিত সেরা অনুশীলনগুলিও বিবেচনা করা উচিত:

• ব্যবহার অ্যামাজন ক্লাউডওয়াচ আপনার IDP ওয়ার্কফ্লো উপাদান, যেমন Amazon Textract এবং Amazon Comprehend নিরীক্ষণ করতে। IDP ওয়ার্কফ্লো থেকে মেট্রিক্স সংগ্রহ করুন, অ্যালার্মের প্রতিক্রিয়া স্বয়ংক্রিয় করুন এবং আপনার ওয়ার্কফ্লো এবং ব্যবসায়িক উদ্দেশ্যগুলির জন্য প্রয়োজনীয় বিজ্ঞপ্তিগুলি পাঠান।
• আপনার IDP ওয়ার্কফ্লো সমাধান এবং IaC ব্যবহার করে অটোমেশন সহ সমস্ত অবকাঠামো পরিবর্তন স্থাপন করুন, যেমন এডাব্লুএস ক্লাউড ডেভেলপমেন্ট কিট (AWS CDK) এবং পূর্ব-নির্মিত IDP AWS CDK নির্মাণ। এটি মানবিক ত্রুটি প্রবর্তনের সম্ভাবনাকে সরিয়ে দেয় এবং আপনার উত্পাদন পরিবেশে পরিবর্তন করার আগে আপনাকে পরীক্ষা করতে সক্ষম করে।
• আপনার ব্যবহারের ক্ষেত্রে যদি একটি Amazon Comprehend কাস্টম মডেলের প্রয়োজন হয়, তাহলে সময়ের সাথে সাথে কাস্টম মডেলটিকে উন্নত করার প্রক্রিয়া সহজ করার জন্য একটি ফ্লাইহুইল ব্যবহার করার কথা বিবেচনা করুন। একটি ফ্লাইহুইল একটি নতুন কাস্টম মডেল সংস্করণ প্রশিক্ষণ এবং মূল্যায়নের সাথে যুক্ত কাজগুলিকে অর্কেস্ট্রেট করে৷
• আপনার ব্যবহারের ক্ষেত্রে এটির প্রয়োজন হলে, প্রশিক্ষণের মাধ্যমে এবং Amazon Textract বেস মডেলের জন্য একটি অ্যাডাপ্টার ব্যবহার করে Amazon Textract প্রাক-প্রশিক্ষিত প্রশ্ন বৈশিষ্ট্যের আউটপুট কাস্টমাইজ করুন। আপনার অ্যাডাপ্টারের জন্য প্রশ্ন তৈরি করার সময় নিম্নলিখিত সেরা অনুশীলনগুলি বিবেচনা করুন:
  • অ্যাডাপ্টার কোটা অ্যাডাপ্টার প্রশিক্ষণের পূর্ববর্তী সীমা সংজ্ঞায়িত করে। এই সীমাগুলি বিবেচনা করুন এবং প্রয়োজনে পরিষেবা কোটা বৃদ্ধির অনুরোধ বাড়ান:
    • অ্যাডাপ্টারের সর্বাধিক সংখ্যা - অনুমোদিত অ্যাডাপ্টারের সংখ্যা (একটি অ্যাডাপ্টারের অধীনে আপনার একাধিক অ্যাডাপ্টারের সংস্করণ থাকতে পারে)।
    • প্রতি মাসে সর্বাধিক অ্যাডাপ্টারের সংস্করণ তৈরি করা হয়েছে - প্রতি মাসে AWS অ্যাকাউন্টে তৈরি করা যেতে পারে এমন সফল অ্যাডাপ্টারের সংস্করণের সংখ্যা।
    • সর্বাধিক অগ্রগতি অ্যাডাপ্টারের সংস্করণ - অ্যাকাউন্ট প্রতি অগ্রগতি অ্যাডাপ্টার সংস্করণের সংখ্যা (অ্যাডাপ্টার প্রশিক্ষণ)।
  • আপনার ব্যবহারের ক্ষেত্রে (ন্যূনতম পাঁচটি প্রশিক্ষণ নথি এবং পাঁচটি পরীক্ষার নথি) নথিগুলির একটি সেট ব্যবহার করতে ভুলবেন না।
  • প্রশিক্ষণের জন্য যতটা সম্ভব নথি প্রদান করুন (প্রশিক্ষণ নথির 2,500 পৃষ্ঠা পর্যন্ত এবং পরীক্ষার নথির জন্য 1,000)।
  • বিভিন্ন উত্তর ব্যবহার করে প্রশ্ন টীকা করুন। উদাহরণস্বরূপ, যদি একটি প্রশ্নের উত্তর "হ্যাঁ" বা "না" হয়, তাহলে টীকাকৃত নমুনাগুলিতে "হ্যাঁ" এবং "না" উভয়েরই উপস্থিতি থাকা উচিত।
  • টীকা শৈলীতে এবং স্পেস সহ ক্ষেত্র টীকা করার সময় ধারাবাহিকতা বজায় রাখুন।
  • অনুমানের জন্য প্রশিক্ষণে ব্যবহৃত সঠিক প্রশ্নটি ব্যবহার করুন।
  • অ্যাডাপ্টার প্রশিক্ষণের প্রতিটি রাউন্ডের পরে, আপনার লক্ষ্য অর্জনের জন্য আপনার অ্যাডাপ্টারকে আরও উন্নত করতে হবে কিনা তা নির্ধারণ করতে পারফরম্যান্স মেট্রিক্স পর্যালোচনা করুন। অ্যাডাপ্টারের একটি উন্নত সংস্করণ তৈরি করতে আপনি একটি নতুন প্রশিক্ষণ শুরু করার আগে প্রশিক্ষণের জন্য একটি নতুন নথি সেট আপলোড করুন বা নথির টীকা পর্যালোচনা করুন যেগুলির সঠিকতা স্কোর কম রয়েছে৷
  • ব্যবহার AutoUpdate কাস্টম অ্যাডাপ্টারের জন্য বৈশিষ্ট্য। এই বৈশিষ্ট্যটি যদি স্বয়ংক্রিয় পুনরায় প্রশিক্ষণের চেষ্টা করে AutoUpdate পতাকা একটি অ্যাডাপ্টার সক্রিয় করা হয়.

ব্যর্থতা ব্যবস্থাপনা

একটি IDP সমাধান ডিজাইন করার সময়, বিবেচনা করার একটি গুরুত্বপূর্ণ দিক হল এর স্থিতিস্থাপকতা, কীভাবে পরিচিত এবং অজানা ত্রুটিগুলি ঘটতে পারে তা পরিচালনা করা যায়। IDP সলিউশনে IDP কর্মপ্রবাহের বিভিন্ন পর্যায়ে লগিং ত্রুটি এবং ব্যর্থ অপারেশনের পুনরায় চেষ্টা করার ক্ষমতা থাকা উচিত। এই বিভাগে, আমরা ব্যর্থতাগুলি পরিচালনা করার জন্য আপনার IDP ওয়ার্কফ্লো কীভাবে ডিজাইন করবেন সে সম্পর্কে বিস্তারিত আলোচনা করি।

ব্যর্থতাগুলি পরিচালনা এবং প্রতিরোধ করতে আপনার IDP কর্মপ্রবাহ প্রস্তুত করুন

AWS CTO Werner Vogels-এর একটি বিখ্যাত উক্তি হল "সবকিছুই ব্যর্থ হয়, সব সময়।" আপনার IDP সমাধান, অন্য সবকিছুর মত, অবশেষে ব্যর্থ হবে। প্রশ্ন হল কিভাবে এটি আপনার IDP সমাধান ব্যবহারকারীদের প্রভাবিত না করে ব্যর্থতা সহ্য করতে পারে। আপনার IDP আর্কিটেকচার ডিজাইনকে অবশ্যই ব্যর্থতা সম্পর্কে সচেতন হতে হবে কারণ সেগুলি ঘটবে এবং প্রাপ্যতার উপর প্রভাব এড়াতে পদক্ষেপ নেবে। এটি স্বয়ংক্রিয়ভাবে করা উচিত, এবং ব্যবহারকারীর প্রভাব ছাড়াই। নিম্নলিখিত সেরা অনুশীলন বিবেচনা করুন:

• ব্যবহার আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) IDP ওয়ার্কফ্লো নথি প্রক্রিয়া করার জন্য আপনার মাপযোগ্য ডেটা স্টোর হিসাবে। Amazon S3 একটি অত্যন্ত টেকসই স্টোরেজ অবকাঠামো প্রদান করে যা মিশন-সমালোচনামূলক এবং প্রাথমিক ডেটা স্টোরেজের জন্য ডিজাইন করা হয়েছে।
• আপনার ব্যবসার প্রয়োজনীয়তা অনুযায়ী আপনার সমস্ত IDP ওয়ার্কফ্লো ডেটা ব্যাক আপ করুন। ডেটা হারানোর ক্ষেত্রে ডেটা পুনরুদ্ধার বা পুনরুত্পাদন করার জন্য একটি কৌশল প্রয়োগ করুন। এই কৌশলটিকে একটি সংজ্ঞায়িত রিকভারি পয়েন্ট অবজেক্টিভ (RPO) এবং রিকভারি টাইম অবজেক্টিভ (RTO) দিয়ে সারিবদ্ধ করুন যা আপনার ব্যবসার প্রয়োজনীয়তা পূরণ করে।
• যদি প্রয়োজন হয়, AWS অ্যাকাউন্ট এবং অঞ্চল জুড়ে আপনার IDP সমাধানের একটি দুর্যোগ পুনরুদ্ধার ব্যর্থতা কৌশল পরিকল্পনা করুন এবং বাস্তবায়ন করুন।
• Amazon Textract ব্যবহার করুন OutputConfig বৈশিষ্ট্য এবং অ্যামাজন বোঝা OutputDataConfig অ্যামাজন টেক্সট্র্যাক্ট বা অ্যামাজন কম্প্রিহেন্ড থেকে অ্যাসিঙ্ক্রোনাস প্রসেসিংয়ের ফলাফল একটি মনোনীত S3 বালতিতে সংরক্ষণ করার বৈশিষ্ট্য। এটি Amazon Textract বা Amazon Comprehend আহ্বানের পুনরাবৃত্তি না করে সেই বিন্দু থেকে কর্মপ্রবাহকে চালিয়ে যেতে দেয়। নিম্নলিখিত কোডটি দেখায় কিভাবে একটি ডকুমেন্ট বিশ্লেষণ করতে এবং একটি সংজ্ঞায়িত S3 বালতিতে এনক্রিপ্ট করা অনুমান আউটপুট সংরক্ষণ করতে একটি Amazon Textract অ্যাসিঙ্ক্রোনাস API কাজ শুরু করতে হয়। অতিরিক্ত তথ্যের জন্য, পড়ুন অ্যামাজন টেক্সট্র্যাক্ট ক্লায়েন্ট ডকুমেন্টেশন.

import boto3
client = boto3.client('textract') response = client.start_document_analysis( DocumentLocation={ 'S3Object': { 'Bucket': 'string', 'Name': 'string', 'Version': 'string' } }, FeatureTypes=[ 'TABLES'|'FORMS'|'QUERIES'|'SIGNATURES'|'LAYOUT', ], … OutputConfig={ 'S3Bucket': 'string', 'S3Prefix': 'string' }, KMSKeyId='string' …
)

ব্যর্থতা প্রতিরোধ করতে আপনার IDP কর্মপ্রবাহ ডিজাইন করুন

কাজের চাপের নির্ভরযোগ্যতা অগ্রিম নকশা সিদ্ধান্তের সাথে শুরু হয়। আর্কিটেকচার পছন্দ আপনার কাজের চাপের আচরণ এবং এর স্থিতিস্থাপকতাকে প্রভাবিত করবে। আপনার IDP সমাধানের নির্ভরযোগ্যতা উন্নত করতে, এই সেরা অনুশীলনগুলি অনুসরণ করুন।

প্রথমত, IDP ওয়ার্কফ্লো অনুসরণ করে আপনার আর্কিটেকচার ডিজাইন করুন। যদিও একটি IDP কর্মপ্রবাহের পর্যায়গুলি পরিবর্তিত হতে পারে এবং ব্যবহারের ক্ষেত্রে এবং ব্যবসার প্রয়োজনীয়তার দ্বারা প্রভাবিত হতে পারে, ডেটা ক্যাপচার, নথির শ্রেণীবিভাগ, পাঠ্য নিষ্কাশন, বিষয়বস্তু সমৃদ্ধকরণ, পর্যালোচনা এবং বৈধতা এবং খরচ সাধারণত IDP কর্মপ্রবাহের অংশ। এই সু-সংজ্ঞায়িত পর্যায়গুলি কার্যকারিতাগুলিকে পৃথক করতে এবং ব্যর্থতার ক্ষেত্রে তাদের বিচ্ছিন্ন করতে ব্যবহার করা যেতে পারে।

তুমি ব্যবহার করতে পার অ্যামাজন সরল সারি পরিষেবা (Amazon SQS) IDP ওয়ার্কফ্লো পর্যায়গুলিকে দ্বিগুণ করতে। একটি ডিকপলিং প্যাটার্ন এটির উপর নির্ভরশীল অন্যান্য উপাদান থেকে স্থাপত্য উপাদানগুলির আচরণকে আলাদা করতে সাহায্য করে, স্থিতিস্থাপকতা এবং তত্পরতা বৃদ্ধি করে।

দ্বিতীয়ত, পুনরায় চেষ্টা করার কলগুলিকে নিয়ন্ত্রণ এবং সীমাবদ্ধ করুন। অ্যামাজন টেক্সট্র্যাক্টের মতো AWS পরিষেবাগুলি ব্যর্থ হতে পারে যদি বরাদ্দকৃত TPS-এর সর্বাধিক সংখ্যা অতিক্রম করা হয়, যার ফলে পরিষেবাটি আপনার আবেদন থ্রোটল করে বা আপনার সংযোগ বাদ দেয়৷

অপারেশনটি স্বয়ংক্রিয়ভাবে পুনরায় চেষ্টা করে (সিঙ্ক্রোনাস এবং অ্যাসিঙ্ক্রোনাস উভয় অপারেশন) আপনার থ্রটলিং এবং ড্রপ করা সংযোগগুলি পরিচালনা করা উচিত। যাইহোক, আপনাকে সীমিত সংখ্যক পুনঃপ্রচারেরও উল্লেখ করতে হবে, যার পরে অপারেশন ব্যর্থ হয় এবং একটি ব্যতিক্রম ছুড়ে দেয়। আপনি যদি অল্প সময়ের মধ্যে অ্যামাজন টেক্সট্র্যাক্টে অনেক বেশি কল করেন তবে এটি আপনার কলগুলিকে থ্রোটল করে এবং একটি পাঠায় ProvisionedThroughputExceededExceptionerror অপারেশন প্রতিক্রিয়া মধ্যে.

উপরন্তু, ব্যবহার করুন সূচকীয় ব্যাকঅফ এবং জিটার থ্রুপুট উন্নত করার জন্য পুনরায় চেষ্টা করার জন্য। উদাহরণস্বরূপ, Amazon Textract ব্যবহার করে, অন্তর্ভুক্ত করে পুনরায় চেষ্টার সংখ্যা উল্লেখ করুন config আপনি যখন Amazon Textract ক্লায়েন্ট তৈরি করেন তখন প্যারামিটার। আমরা আবার পাঁচটি গণনা করার পরামর্শ দিই। নিম্নলিখিত উদাহরণ কোডে, আমরা ব্যবহার করি config অভিযোজিত মোড ব্যবহার করে স্বয়ংক্রিয়ভাবে একটি অপারেশন পুনরায় চেষ্টা করার পরামিতি এবং সর্বাধিক পাঁচটি পুনঃপ্রয়াস:

import boto3
from botocore.client import Config documents = ['doc-img-1.png','doc-img-2.png', 'doc-img-3.png', 'doc-img-4.png', 'doc-img-5.png'] config = Config( retries = { 'max_attempts': 5, 'mode': 'adaptive' }
) client = boto3.client('textract', config=config) for documentName in documents: response = client.detect_document_text( DocumentLocation = { 'S3Object': { 'Bucket': 'string', 'Name': documentName } }) ...

AWS SDK এর সুবিধা নিন, যেমন Python (Boto3) এর জন্য AWS SDK, সাহায্য করতে ক্লায়েন্ট কল পুনরায় চেষ্টা করা হচ্ছে অ্যামাজন টেক্সট্র্যাক্ট এবং অ্যামাজন কম্প্রিহেন্ডের মতো AWS পরিষেবাগুলিতে। এখনে তিনটি পুনরায় চেষ্টা করার মোড উপলব্ধ:

• লিগ্যাসি মোড - সীমিত সংখ্যক ত্রুটি এবং ব্যতিক্রমের জন্য পুনরায় চেষ্টা করে এবং 2 এর বেস ফ্যাক্টর দ্বারা একটি সূচকীয় ব্যাকঅফ অন্তর্ভুক্ত করে।
• আদর্শ অবস্থা - অন্যান্য AWS SDK-এর সাথে সামঞ্জস্যপূর্ণ পুনঃপ্রচারের যুক্তি এবং আচরণকে মানক করে এবং লিগ্যাসি মোডে পাওয়া যেগুলির উপর পুনরায় চেষ্টা করার কার্যকারিতা প্রসারিত করে। যেকোনো পুনঃপ্রচেষ্টার সর্বোচ্চ 2 সেকেন্ডের ব্যাকঅফ সময়ের জন্য 20 এর একটি বেস ফ্যাক্টর দ্বারা একটি সূচকীয় ব্যাকঅফ অন্তর্ভুক্ত থাকবে।
• অভিযোজিত মোড - স্ট্যান্ডার্ড মোডের সমস্ত বৈশিষ্ট্য অন্তর্ভুক্ত করে এবং এটি একটি টোকেন বাকেট এবং রেট লিমিট ভেরিয়েবল ব্যবহারের মাধ্যমে সীমিত একটি ক্লায়েন্ট-সাইড রেট প্রবর্তন করে যা প্রতিটি পুনরায় চেষ্টা করার সাথে গতিশীলভাবে আপডেট করা হয়। এটি ক্লায়েন্ট-সাইড পুনঃপ্রচারে নমনীয়তা অফার করে যা একটি AWS পরিষেবা থেকে ত্রুটি বা ব্যতিক্রম অবস্থার প্রতিক্রিয়ার সাথে খাপ খায়। প্রতিটি নতুন পুনঃপ্রচেষ্টার সাথে, অভিযোজিত মোড AWS পরিষেবা থেকে প্রতিক্রিয়াতে উপস্থাপিত ত্রুটি, ব্যতিক্রম, বা HTTP স্থিতি কোডের উপর ভিত্তি করে হার সীমা ভেরিয়েবল পরিবর্তন করে। এই হার সীমা ভেরিয়েবলগুলি তারপর ক্লায়েন্টের জন্য একটি নতুন কল রেট গণনা করতে ব্যবহৃত হয়। একটি AWS পরিষেবা থেকে প্রতিটি ব্যতিক্রম, ত্রুটি, বা অ-সফল HTTP প্রতিক্রিয়া রেট লিমিট ভেরিয়েবল আপডেট করে কারণ একটি সাফল্য না পৌঁছানো পর্যন্ত, টোকেন বালতি শেষ না হওয়া পর্যন্ত, বা কনফিগার করা সর্বোচ্চ প্রচেষ্টার মান না পৌঁছানো পর্যন্ত পুনঃপ্রয়াস ঘটে। ব্যতিক্রম, ত্রুটি, বা অ-সফল HTTP প্রতিক্রিয়ার উদাহরণ:

# Transient errors/exceptions
RequestTimeout
RequestTimeoutException
PriorRequestNotComplete
ConnectionError
HTTPClientError # Service-side throttling/limit errors and exceptions
Throttling
ThrottlingException
ThrottledException
RequestThrottledException
TooManyRequestsException
ProvisionedThroughputExceededException
TransactionInProgressException
RequestLimitExceeded
BandwidthLimitExceeded
LimitExceededException
RequestThrottled
SlowDown
EC2ThrottledException #Retry attempts on nondescriptive, transient error codes. Specifically, these HTTP status codes: 500, 502, 503, 504.

উপসংহার

এই পোস্টে, আমরা আপনার IDP সমাধানে নির্ভরযোগ্যতার জন্য ডিজাইন নীতি, ফোকাস এলাকা, ভিত্তি এবং সর্বোত্তম অনুশীলন শেয়ার করেছি।

AWS একটি জীবন্ত সরঞ্জাম হিসাবে IDP ওয়েল-আর্কিটেক্টেড লেন্সের জন্য প্রতিশ্রুতিবদ্ধ। IDP সমাধান এবং সম্পর্কিত AWS AI পরিষেবাগুলির বিকাশ এবং নতুন AWS পরিষেবাগুলি উপলব্ধ হওয়ার সাথে সাথে আমরা সেই অনুযায়ী IDP লেন্স ওয়েল-আর্কিটেক্টেড আপডেট করব৷

আপনি যদি AWS ওয়েল-আর্কিটেক্টেড ফ্রেমওয়ার্ক সম্পর্কে আরও জানতে চান তবে পড়ুন AWS ভাল স্থপতি.

আপনার যদি অতিরিক্ত বিশেষজ্ঞ নির্দেশনার প্রয়োজন হয়, তাহলে একজন IDP বিশেষজ্ঞ সলিউশন আর্কিটেক্টকে নিযুক্ত করতে আপনার AWS অ্যাকাউন্ট টিমের সাথে যোগাযোগ করুন।

লেখক সম্পর্কে

রুই কার্ডোসো Amazon Web Services (AWS) এর একজন অংশীদার সমাধান স্থপতি। তিনি AI/ML এবং IoT-এ ফোকাস করছেন। তিনি AWS অংশীদারদের সাথে কাজ করেন এবং AWS-এ সমাধান তৈরিতে তাদের সমর্থন করেন। কাজ না করলে, তিনি সাইকেল চালানো, হাইকিং এবং নতুন জিনিস শিখতে উপভোগ করেন।

ব্রিজেশ পতি AWS-এর একজন এন্টারপ্রাইজ সলিউশন আর্কিটেক্ট। তার প্রাথমিক ফোকাস হল এন্টারপ্রাইজ গ্রাহকদের তাদের কাজের চাপের জন্য ক্লাউড প্রযুক্তি গ্রহণ করতে সহায়তা করা। অ্যাপ্লিকেশন ডেভেলপমেন্ট এবং এন্টারপ্রাইজ আর্কিটেকচারে তার একটি পটভূমি রয়েছে এবং তিনি বিভিন্ন শিল্প যেমন খেলাধুলা, অর্থ, শক্তি এবং পেশাদার পরিষেবার গ্রাহকদের সাথে কাজ করেছেন। তার আগ্রহের মধ্যে রয়েছে সার্ভারহীন আর্কিটেকচার এবং এআই/এমএল।

মিয়া চ্যাং অ্যামাজন ওয়েব পরিষেবাগুলির জন্য একজন এমএল বিশেষজ্ঞ সমাধান স্থপতি৷ তিনি EMEA-তে গ্রাহকদের সাথে কাজ করেন এবং ফলিত গণিত, কম্পিউটার বিজ্ঞান এবং AI/ML-এ তার পটভূমি সহ ক্লাউডে AI/ML ওয়ার্কলোড চালানোর জন্য সেরা অনুশীলনগুলি শেয়ার করেন। তিনি এনএলপি-নির্দিষ্ট কাজের চাপের উপর ফোকাস করেন এবং কনফারেন্স স্পিকার এবং বইয়ের লেখক হিসাবে তার অভিজ্ঞতা শেয়ার করেন। তার অবসর সময়ে, সে হাইকিং, বোর্ড গেমস এবং কফি তৈরি করা উপভোগ করে।

টিম কনডেলো তিনি আমাজন ওয়েব সার্ভিসেস (AWS) এর একজন সিনিয়র কৃত্রিম বুদ্ধিমত্তা (AI) এবং মেশিন লার্নিং (ML) বিশেষজ্ঞ সমাধানের স্থপতি। তার ফোকাস প্রাকৃতিক ভাষা প্রক্রিয়াকরণ এবং কম্পিউটার দৃষ্টি। টিম গ্রাহকের ধারনা নেওয়া এবং সেগুলিকে মাপযোগ্য সমাধানে পরিণত করা উপভোগ করে।

শেরি ডিং তিনি আমাজন ওয়েব সার্ভিসেস (AWS) এর একজন সিনিয়র কৃত্রিম বুদ্ধিমত্তা (AI) এবং মেশিন লার্নিং (ML) বিশেষজ্ঞ সমাধানের স্থপতি। কম্পিউটার বিজ্ঞানে পিএইচডি ডিগ্রি সহ মেশিন লার্নিংয়ে তার ব্যাপক অভিজ্ঞতা রয়েছে। তিনি মূলত পাবলিক সেক্টরের গ্রাহকদের সাথে বিভিন্ন AI/ML সম্পর্কিত ব্যবসায়িক চ্যালেঞ্জ নিয়ে কাজ করেন, তাদের AWS ক্লাউডে তাদের মেশিন লার্নিং যাত্রাকে ত্বরান্বিত করতে সহায়তা করে। গ্রাহকদের সাহায্য না করার সময়, তিনি বাইরের কার্যকলাপ উপভোগ করেন।

সুয়িন ওয়াং AWS-এর একজন AI/ML স্পেশালিস্ট সলিউশন আর্কিটেক্ট। তার মেশিন লার্নিং, আর্থিক তথ্য পরিষেবা এবং অর্থনীতিতে একটি আন্তঃবিষয়ক শিক্ষার পটভূমি রয়েছে, সাথে ডেটা সায়েন্স এবং মেশিন লার্নিং অ্যাপ্লিকেশনগুলি তৈরি করার অভিজ্ঞতা রয়েছে যা বাস্তব-বিশ্বের ব্যবসায়িক সমস্যার সমাধান করে। তিনি গ্রাহকদের সঠিক ব্যবসায়িক প্রশ্ন শনাক্ত করতে এবং সঠিক AI/ML সমাধান তৈরি করতে সাহায্য করেন। অবসর সময়ে সে গান গাইতে এবং রান্না করতে ভালোবাসে।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
• প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
• প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
• উত্স: https://aws.amazon.com/blogs/machine-learning/build-well-architected-idp-solutions-with-a-custom-lens-part-3-reliability/