বড় প্রতিষ্ঠানে এআই-এর ক্রমবর্ধমান প্রভাব এআই প্ল্যাটফর্ম পরিচালনার ক্ষেত্রে গুরুত্বপূর্ণ চ্যালেঞ্জ নিয়ে আসে। এর মধ্যে রয়েছে একটি পরিমাপযোগ্য এবং কার্যকরীভাবে দক্ষ প্ল্যাটফর্ম তৈরি করা যা সাংগঠনিক সম্মতি এবং সুরক্ষা মানগুলি মেনে চলে। অ্যামাজন সেজমেকার স্টুডিও মেশিন লার্নিং (ML) অনুশীলনকারীদের এবং ডেটা বিজ্ঞানীদের জন্য ক্ষমতার একটি বিস্তৃত সেট অফার করে। এর মধ্যে রয়েছে ইন্টিগ্রেটেড ডেভেলপমেন্ট এনভায়রনমেন্ট (IDE) সহ সম্পূর্ণরূপে পরিচালিত এআই ডেভেলপমেন্ট এনভায়রনমেন্ট, যা এন্ড-টু-এন্ড এমএল ওয়ার্কফ্লোকে সহজ করে। এর সহযোগিতামূলক ক্ষমতা যেমন রিয়েল-টাইম কোয়েডিটিং এবং টিমের মধ্যে নোটবুক শেয়ার করা মসৃণ টিমওয়ার্ক নিশ্চিত করে, যখন স্কেলেবিলিটি এবং উচ্চ-পারফরম্যান্স প্রশিক্ষণ বড় ডেটাসেটগুলি পূরণ করে। অন্তর্নির্মিত নিরাপত্তা, খরচ-কার্যকারিতা, এবং পূর্ব-নির্মিত সরঞ্জামগুলির একটি পরিসীমা সহ অ্যামাজন সেজমেকার অটোপাইলট, আমাজন সেজমেকার জাম্পস্টার্ট, এবং অ্যামাজন সেজমেকার ফিচার স্টোর, SageMaker Studio হল AI প্রকল্পগুলিকে ত্বরান্বিত করার এবং দক্ষতার প্রতিটি স্তরে ডেটা বিজ্ঞানীদের ক্ষমতায়নের জন্য একটি শক্তিশালী প্ল্যাটফর্ম৷

ডয়েস বাহন 56.3 বিলিয়ন ইউরো (2022 সালে), 336,884 জন কর্মী (জার্মানিতে 221,343 জন কর্মচারী সহ) এবং 130টি দেশে বিস্তৃত ক্রিয়াকলাপ সহ জার্মানির একটি নেতৃস্থানীয় পরিবহন সংস্থা। তারা পাবলিক এবং আঞ্চলিক পরিবহন, মালবাহী পরিষেবা এবং রেল অবকাঠামো সহ বিস্তৃত পরিসরের পরিষেবা অফার করে। ট্র্যাফিক এবং রেলওয়ে অবকাঠামোর সমন্বিত অপারেশনের মাধ্যমে, সেইসাথে পরিবহনের সমস্ত পদ্ধতির অর্থনৈতিক এবং পরিবেশগতভাবে বুদ্ধিমান সংযোগের মাধ্যমে, ডয়েচে বাহন মানুষ এবং পণ্যগুলিকে স্থানান্তরিত করে৷ সেজমেকার স্টুডিওকে একটি মূল AI প্ল্যাটফর্ম হিসেবে ব্যবহার করে AI গ্রহণের ক্ষেত্রে ডয়েচে বাহন এগিয়ে রয়েছে৷ ডয়েচে বাহনে, একটি নিবেদিত এআই প্ল্যাটফর্ম টিম সেজমেকার স্টুডিও প্ল্যাটফর্ম পরিচালনা করে এবং পরিচালনা করে এবং সংস্থার মধ্যে একাধিক ডেটা অ্যানালিটিক্স টিম বিভিন্ন বিশ্লেষণ এবং এমএল কার্যকলাপ বিকাশ, প্রশিক্ষণ এবং চালানোর জন্য প্ল্যাটফর্মটি ব্যবহার করে।

এআই প্ল্যাটফর্ম টিমের মূল উদ্দেশ্য হল ওয়ার্কবেঞ্চ পরিষেবা এবং সেজমেকার স্টুডিওতে সমস্ত ডয়েচে বাহন টিম এবং প্রকল্পগুলির জন্য নির্বিঘ্ন অ্যাক্সেস নিশ্চিত করা, যেখানে প্রাথমিক মনোযোগ ডেটা বিজ্ঞানী এবং এমএল ইঞ্জিনিয়ারদের উপর। এই প্ল্যাটফর্মটি ডয়েচে বাহনকে রেলওয়ে রক্ষণাবেক্ষণ, পূর্বাভাস এবং জেনারেটিভ AI-তে ভবিষ্যত অ্যাপ্লিকেশন থেকে শুরু করে ব্যবহারের ক্ষেত্রে একটি বর্ণালী উপলব্ধি করতে সাহায্য করে।

সেজমেকার স্টুডিওতে নির্মিত এআই প্ল্যাটফর্ম পরিচালিত পরিষেবা, ডয়েচে বাহনের গ্রুপ-ওয়াইড প্ল্যাটফর্ম কৌশলের সাথে নির্বিঘ্নে সারিবদ্ধ। এটি কোম্পানির সম্মতির প্রয়োজনীয়তা পূরণ করে, একটি SageMaker ডোমেনের ব্যবস্থা করে দলের জন্য একটি দ্রুত প্রকল্প শুরু করতে সক্ষম করে এবং একটি অপারেটিং মডেলের কারণে রক্ষণাবেক্ষণ ওভারহেড হ্রাস করে৷ প্রধান সুবিধাগুলির মধ্যে রয়েছে পরিষেবার উচ্চ মাপযোগ্যতা, বড় অংশে অটোমেশন এবং একটি স্ব-পরিষেবা মডেলের কারণে এবং একটি আকর্ষণীয় মূল্যের মডেল যা প্রাথমিকভাবে সম্পদ খরচের উপর ভিত্তি করে।

"সেজমেকার স্টুডিও আমাদের একটি সাধারণ প্ল্যাটফর্ম প্রদান করেছে যা পরিমাপযোগ্য, নিরাপত্তা সম্মত, এবং ডিবি সংস্থার মধ্যে একাধিক ডেটা অ্যানালিটিক্স টিমের ডেটা বিজ্ঞানীদের বিকাশের প্রয়োজনগুলিকে সম্বোধন করে৷ এর আগে, প্রতিটি দল তাদের নিজস্ব JupyterLab নোটবুক পরিচালনা ও পরিচালনা করত, যা দক্ষ বা সাশ্রয়ী ছিল না। 8 সপ্তাহের মধ্যে, আমরা 120 টিরও বেশি ডেভেলপারকে অনবোর্ড করেছি, 25টি সেজমেকার ডোমেন সরবরাহ করেছি এবং দ্রুত এই প্ল্যাটফর্মটি ব্যবহার করা শুরু করেছি।"

- ইমানুয়েল ড্রোসোস, ডিবি সিস্টেলের পণ্যের মালিক।

এই পোস্টে, আমরা দৃঢ় নিরাপত্তা এবং তত্ত্বাবধান নিশ্চিত করার সাথে সাথে একাধিক দলের জন্য SageMaker স্টুডিও ব্যবহার করে কীভাবে ডয়েচে বাহন তাদের AI প্ল্যাটফর্মকে স্কেল এবং পরিচালনা করে তা অন্বেষণ করি।

সমাধান ওভারভিউ

ডয়েচে বাহনের আর্কিটেকচারে একটি কেন্দ্রীয় প্ল্যাটফর্ম অ্যাকাউন্ট রয়েছে যা সেজমেকার স্টুডিওর পরিকাঠামো এবং অপারেশন পরিচালনার জন্য দায়ী একটি প্ল্যাটফর্ম টিম দ্বারা পরিচালিত। SageMaker স্টুডিও সম্পদ দ্বারা গোষ্ঠীবদ্ধ করা হয় সেজমেকার ডোমেইন, প্রতিটি একটি সংশ্লিষ্ট গঠিত আমাজন ইলাস্টিক ফাইল সিস্টেম (Amazon EFS) ভলিউম, অনুমোদিত ব্যবহারকারীদের একটি তালিকা এবং বিভিন্ন ধরনের নিরাপত্তা, অ্যাপ্লিকেশন, নীতি এবং আমাজন ভার্চুয়াল প্রাইভেট ক্লাউড (Amazon VPC) কনফিগারেশন। ডয়েচে বাহনে, বিভিন্ন দলের ডেটা বিজ্ঞানীরা তাদের এমএল কার্যক্রমের জন্য সেজমেকার ডোমেন ব্যবহার করেন; প্রতিটি টিমের একটি ডেডিকেটেড সেজমেকার ডোমেন রয়েছে যা তারা এমএল মডেল তৈরি এবং পরীক্ষা করার জন্য ব্যবহার করে এবং নোটবুক ভাগ করে নেওয়ার মতো বৈশিষ্ট্যগুলি ব্যবহার করে সহযোগিতা করে।

একটি অবকাঠামো দৃষ্টিকোণ থেকে, VPC নিম্নলিখিত চিত্রে দেখানো AI প্ল্যাটফর্ম অ্যাকাউন্টে বিধান করা হয়েছে নিরাপত্তা এবং সম্মতি নিশ্চিত করার জন্য কোন আউটবাউন্ড ইন্টারনেট সংযোগ নেই। উচ্চ প্রাপ্যতার জন্য, একাধিক অভিন্ন ব্যক্তিগত বিচ্ছিন্ন সাবনেটের ব্যবস্থা করা হয়েছে। SageMaker স্টুডিও ডোমেনগুলি শুধুমাত্র VPC মোডে স্থাপন করা হয়, যা SageMaker পরিষেবা অ্যাকাউন্ট (AWS পরিষেবা অ্যাকাউন্ট) এবং প্ল্যাটফর্ম অ্যাকাউন্টের VPC-এর মধ্যে যোগাযোগের জন্য একটি ইলাস্টিক নেটওয়ার্ক ইন্টারফেস তৈরি করে। সেজমেকার এপিআই, সেজমেকার স্টুডিও এবং সেজমেকার নোটবুকের মতো শেষ পয়েন্টগুলি প্ল্যাটফর্ম অ্যাকাউন্টের ভিপিসি এবং সেজমেকার পরিষেবা অ্যাকাউন্টে AWS দ্বারা পরিচালিত সেজমেকার ডোমেনের মধ্যে নিরাপদ এবং নির্ভরযোগ্য যোগাযোগের সুবিধা দেয়।

প্রতিটি ডেটা অ্যানালিটিক্স দল কোম্পানির অভ্যন্তরীণ স্ব-পরিষেবা পোর্টালের মাধ্যমে এক বা একাধিক সেজমেকার ডোমেনের অনুরোধ করতে সক্ষম। একটি সেজমেকার ডোমেন অর্ডার করার এই প্রক্রিয়াটি একটি পৃথক ওয়ার্কফ্লো প্রক্রিয়ার মাধ্যমে সাজানো হয় (এর মাধ্যমে এডাব্লুএস স্টেপ ফাংশন) এই অর্কেস্ট্রেশন ফ্লো চলাকালীন, ডেটা অ্যানালিটিক্স টিমের জন্য একটি Azure অ্যাক্টিভ ডিরেক্টরি (AD) গ্রুপ ডোমেন নামের সাথে সঙ্গতিপূর্ণ AD গ্রুপের নাম দিয়ে ব্যবস্থা করা হয়েছে। অর্কেস্ট্রেশন একটি ক্রমাগত ইন্টিগ্রেশন এবং ক্রমাগত স্থাপনার (CI/CD) পাইপলাইনের দিকে নিয়ে যায় এডাব্লুএস ক্লাউড ডেভেলপমেন্ট কিট (AWS CDK) অ্যাপটি সংশ্লিষ্ট দলের জন্য একটি SageMaker ডোমেন নিয়ে গঠিত।

SageMaker ডোমেন ছাড়াও, একটি কাস্টমাইজড এডাব্লুএস আইডেন্টিটি এবং অ্যাক্সেস ম্যানেজমেন্ট (IAM) ভূমিকা (SageMaker-Execution-role), আমাজন সিম্পল স্টোরেজ সার্ভিস (Amazon S3) বালতি (ডেটা-বালতি), কাস্টমার ম্যানেজড কী (CMK), এবং অন্যান্য AWS সংস্থানগুলি AWS CDK অ্যাপ দ্বারা স্থাপন প্রক্রিয়ার সময় প্রবিধান করা হয়েছে, যেমনটি নিচের চিত্রে দেখানো হয়েছে। AD গ্রুপে এমন বিজ্ঞানী রয়েছে যাদের তাদের দলের সেজমেকার ডোমেনে অ্যাক্সেস প্রয়োজন। AD গ্রুপের নাম SageMaker ডোমেনের নামের সাথে মিলে যায় এবং প্রাথমিকভাবে অনুমোদন প্রক্রিয়ার সময় ব্যবহৃত হয়।

IAM প্রমাণীকরণ মোড ব্যবহার করে সেজমেকার ডোমেনের স্তরে ক্লায়েন্ট বিচ্ছেদ প্রয়োগ করা হয়। একটি ডোমেন-নির্দিষ্ট IAM ভূমিকা (SageMaker-execution-role) প্রতিটি ডোমেনের সাথে সংযুক্ত থাকে যা ন্যূনতম বিশেষাধিকারের নীতি অনুসরণ করে এবং লগইন প্রক্রিয়া চলাকালীন ডেটা বিশ্লেষণ দল দ্বারা অনুমান করা হয়। এই ভূমিকাটি দলে ডেটা বিজ্ঞানীদের বিভিন্ন ক্রিয়াকলাপ সম্পাদন করার ক্ষমতা দেয়, যেমন প্রক্রিয়াকরণ কাজ চালানো, হাইপারপ্যারামিটার টিউনিং কাজ, রূপান্তর কাজ এবং পরীক্ষা-নিরীক্ষার পাশাপাশি মডেল তৈরি করা। এই ML কার্যকলাপ IAM পাস ভূমিকা অনুমতি ব্যবহার করে SageMaker দ্বারা ব্যবহারকারীর পক্ষে চালানো হয়। যাইহোক, S3 বালতি তৈরি করা, IAM ভূমিকা পরিবর্তন করা, SageMaker ডোমেন আপডেট করা, এবং বড় উদাহরণের ব্যবস্থা করার মতো কিছু কাজ নিরাপত্তা, সম্মতি এবং খরচ নিয়ন্ত্রণের কারণে সীমাবদ্ধ। সংশ্লিষ্ট IAM নীতি নিশ্চিত করে যে ডাটা অ্যানালিটিক্স টিমের শুধুমাত্র তাদের অনুমোদিত ডোমেনের জন্য প্রাসঙ্গিক S3 বাকেট এবং CMK-তে অ্যাক্সেস রয়েছে, যেমনটি নিম্নলিখিত চিত্রে দেখানো হয়েছে। উপরন্তু, ভূমিকা SageMaker-এক্সিকিউশন-ভুমিকা টিমের সদস্যদের SageMaker স্টুডিও থেকে ডয়েচে বাহন সংস্থার মধ্যে অন্যান্য অ্যাকাউন্টে ভূমিকা গ্রহণ করার অনুমতি দেয়, তাদের রিসোর্স অ্যাক্সেস করার নমনীয়তা প্রদান করে অ্যামাজন রিলেশনাল ডাটাবেস পরিষেবা (Amazon S3), অন্যান্য S3 বালতি, এবং অ্যামাজন অ্যাথেনা. IAM নীতিটি SageMaker ক্রিয়াকলাপের সময় সূক্ষ্ম অ্যাক্সেস নিয়ন্ত্রণের জন্য aws:RequestTag এবং aws:ResourceTag ব্যবহার করে, যেমন কাজ প্রক্রিয়াকরণ, প্রশিক্ষণের কাজ এবং মডেল তৈরি করা। এই ট্যাগগুলি ডোমেনের জন্য সংশ্লিষ্ট খরচ ট্র্যাক করতেও সাহায্য করে। আরো তথ্যের জন্য, পড়ুন Amazon SageMaker-এর জন্য অ্যাকশন, রিসোর্স এবং কন্ডিশন কী.

CMK Amazon EFS-এ সংরক্ষিত SageMaker ডোমেনের ফাইল সিস্টেম বিষয়বস্তু এবং S3 বাকেটের (ডেটা-বাকেট) বিষয়বস্তু উভয়কেই এনক্রিপ্ট করে যা সেজমেকার প্রসেসিং এবং ট্রান্সফর্মেশন কাজের জন্য ডেটা সঞ্চয় করার জন্য প্রবিধান করা হয়। উপরন্তু, সম্পদ-ভিত্তিক নীতি, যেমন বালতি নীতি এবং CMK নীতি, নিরাপত্তার একটি অতিরিক্ত স্তর প্রদান করে, যা শুধুমাত্র অনুমোদিত এআই দলের সদস্যদের অ্যাক্সেস সীমাবদ্ধ করে এবং এই সংস্থানগুলিতে অনুমোদিত ক্রিয়াকলাপ।

এআই দলের নেই এডাব্লুএস ম্যানেজমেন্ট কনসোল এআই প্ল্যাটফর্ম টিমের অ্যাকাউন্টে অ্যাক্সেস। সেজমেকার স্টুডিও অ্যাক্সেস করতে, নিচের চিত্রে যেমন দেখানো হয়েছে, ডেটা অ্যানালিটিক্স টিমের ডেটা বিজ্ঞানীরা প্রমাণীকরণের মাধ্যমে একটি তৈরি করা নির্ধারিত URL ব্যবহার করেন অ্যামাজন কগনিটো ভিত্তিক কাস্টম লগইন অ্যাপ্লিকেশন। ব্যবহারকারী এই কাস্টম অ্যাপ্লিকেশনটিতে লগ ইন করার পরে, তারা একটি OAuth অ্যাক্সেস টোকেন পায় যাতে AD গ্রুপের নামের মতো তথ্য থাকে। তারা কাস্টম অ্যাপ্লিকেশনে লগ ইন করার পরে, ব্যবহারকারী একটি ট্রিগার করে UI এর মাধ্যমে SageMaker ডোমেন অ্যাক্সেসের অনুরোধ করে অ্যামাজন এপিআই গেটওয়ে একটি নির্ধারিত URL তৈরি করতে কল করুন। API গেটওয়ে PreSignUrlGenerator আমন্ত্রণ জানায় এডাব্লুএস ল্যাম্বদা ফাংশন এবং একটি ব্যবহার করে অ্যামাজন কগনিটো অনুমোদনকারী অনুরোধ হেডারে OAuth অ্যাক্সেস টোকেন যাচাই করতে। PreSignUrlGenerator ফাংশন অনুরোধকৃত SageMaker ডোমেনের সাথে অ্যাক্সেস টোকেনে AD নামের তুলনা করে অনুরোধ করা SageMaker ডোমেনের জন্য ব্যবহারকারীর অ্যাক্সেসের অনুমতিগুলিকে যাচাই করে। সফল অনুমোদনের পরে, PreSignUrlGenerator ফাংশন প্রথম লগইন করার পরে একটি SageMaker ব্যবহারকারী প্রোফাইল তৈরি করে এবং একটি নির্ধারিত URL প্রতিক্রিয়া তৈরি করে। কাস্টম লগইন অ্যাপ্লিকেশন তারপর ব্যবহারকারীদের অনুরোধ করা SageMaker ডোমেনে পুনঃনির্দেশ করে।

AWS CDK

ডয়েচে বাহনের সমাধানটি S3 বাকেট এবং একটি CMK-এর মতো সংস্থানগুলির সাথে একটি SageMaker ডোমেনের ব্যবস্থা করার জন্য কোড (IaC) হিসাবে অবকাঠামো হিসাবে AWS CDK ব্যবহার করে৷ নিম্নলিখিত চিত্রটি সেজমেকার স্থাপনার জন্য ব্যবহৃত স্ট্যাক এবং সংশ্লিষ্ট সংস্থানগুলিকে চিত্রিত করে। অবকাঠামো স্ট্যাক ভিপিসি, সাবনেট এবং একাধিক সেজমেকার এন্ডপয়েন্টের মতো প্রয়োজনীয় সংস্থান স্থাপনের যত্ন নেয়। VPC, সাবনেট এবং সার্ভিস কন্ট্রোল পলিসি (SCPs) এর মতো সংস্থানগুলি একটি কেন্দ্রীয় ক্লাউড টিম দ্বারা একটি ভিন্ন স্ট্যাকের মাধ্যমে পরিচালিত হয় (কিন্তু সরলতার জন্য এখানে দেখানো হয়েছে)। SageMakerStudioStack প্রাথমিকভাবে একটি SageMaker ডোমেন, একটি ডেডিকেটেড ডেটা বাকেট, একটি CMK, এবং ডেডিকেটেড IAM ভূমিকা SageMaker-এক্সিকিউশন-রোলের ব্যবস্থা করার জন্য দায়ী৷ উল্লেখযোগ্যভাবে, প্রতিটি সেজমেকার ডোমেন তার স্বতন্ত্র সেজমেকার স্টুডিওস্ট্যাকের মাধ্যমে সরবরাহ করা হয়েছে।

সমাধানটি সেজমেকার ডোমেন সংস্থানের জন্য একটি উদ্দেশ্য-নির্মিত L3 নির্মাণ (সেজমেকার স্টুডিও ডোমেন) ব্যবহার করে, যেমনটি নিম্নলিখিত চিত্রে দেখানো হয়েছে। সেজমেকার স্টুডিও আছে একটি জীবনচক্র কনফিগারেশন বৈশিষ্ট্য যা JupyterLab বা KernelGateway অ্যাপের স্টার্টআপের সময় নির্দিষ্ট সূচনা সক্ষম করে।

Deutsch Bahn নিচের চিত্রে দেখানো লাইফসাইকেল কনফিগারেশন ব্যবহার করে সেজমেকার ডোমেনে অপ্রয়োজনীয় খরচ কমিয়ে স্বয়ংক্রিয়ভাবে অলস দৃষ্টান্ত সনাক্ত করতে এবং বন্ধ করতে। সীমাবদ্ধ আউটবাউন্ড সংযোগের কারণে, ডেটা বিশ্লেষণ দল কোম্পানির অভ্যন্তরীণ আর্টিফ্যাক্টরি থেকে অভ্যন্তরীণভাবে হোস্ট করা ছবি এবং তৃতীয় পক্ষের লাইব্রেরি ব্যবহার করে। KernelGateway-এর লাইফসাইকেল কনফিগারেশন স্ক্রিপ্ট অভ্যন্তরীণভাবে হোস্ট করা আর্টিফ্যাক্টরি অবস্থানে ডাউনলোডগুলি পুনঃনির্দেশ করতে পিপ এবং কনডা প্যাকেজ পরিচালকদের কনফিগার করে। এই লেখা পর্যন্ত, লাইফসাইকেল কনফিগারেশন রিসোর্সের জন্য কোন AWS CDK কনস্ট্রাক্ট নেই; তাই, তারা LifeCycleConfig স্ক্রিপ্টের ব্যবস্থা এবং পরিচালনা করতে একটি কাস্টম CDK রিসোর্স ব্যবহার করে। AWS CDK-তে কাস্টম সংস্থানগুলি সরাসরি সমর্থিত নয় এমন সংস্থানগুলি সরবরাহ এবং পরিচালনা করার ক্ষমতা প্রদান করে এডাব্লুএস ক্লাউডফর্মেশন অথবা AWS CDK নির্মাণ করে।

স্থাপন

নমুনা AWS CDK অ্যাপ্লিকেশনটি দেখায় কিভাবে SageMaker ডোমেন, লাইফসাইকেল কনফিগারেশন, Amazon Cognito, এবং IAM ভূমিকা সহ বিভিন্ন উপাদান একসাথে কাজ করে। অ্যাপ্লিকেশনের মধ্যে, SagemakerStudioStack ক্লাস একটি SageMaker ডোমেন, IAM ভূমিকা (sagemaker-execution-role), যা ব্যবহারকারীরা অনুমান করে, CMK, লাইফসাইকেল কনফিগারেশন, SageMaker ব্যবহারকারীর প্রোফাইল, ডেটা প্রক্রিয়াকরণের জন্য S3 বাকেট এবং Amazon Cognito ব্যবহারকারী গোষ্ঠীর ব্যবস্থা পরিচালনা করে। ডেমো AWS CDK অ্যাপ্লিকেশনটি মূল উপাদানগুলির একটি সংক্ষিপ্ত ওভারভিউ প্রদান করে, যেমন সেজমেকার ডোমেন, লাইফসাইকেল কনফিগারেশন, অ্যামাজন কগনিটোর মাধ্যমে প্রমাণীকরণ এবং ন্যূনতম সুযোগ-সুবিধা সহ IAM ভূমিকা। অন্যদিকে SagemakerLoginStack, Amazon Cognito ব্যবহারকারী পুল, Lambda ফাংশন, এবং API গেটওয়ে নির্ধারিত URL তৈরি করার জন্য দায়বদ্ধ। CognitoUserStack প্রাথমিকভাবে Amazon Cognito ব্যবহারকারী পুলের মধ্যে একজন ব্যবহারকারীকে মোতায়েন করার উপর ফোকাস করে।

আপনি অ্যাপ্লিকেশনটি কম্পাইল, সংশ্লেষণ এবং স্থাপন করতে নিম্নলিখিত কমান্ডগুলি চালাতে পারেন। আপনার অ্যাপ্লিকেশনের নমুনা কোডে আপনার অ্যাকাউন্ট, ব্যবহারকারী এবং পাসওয়ার্ড সামঞ্জস্য করা উচিত। বড় হাতের অক্ষর এবং সংখ্যা সহ পাসওয়ার্ডটি কমপক্ষে 8 অক্ষরের হওয়া উচিত। ব্যবহারকারীর প্যারামিটার হল সেজমেকার ডোমেন ব্যবহারকারী যা অ্যামাজন কগনিটো দ্বারা প্রমাণীকৃত হবে।

1. থেকে সোর্স কোড ডাউনলোড করুন গিটহুব রেপো.
2. AWS অ্যাকাউন্ট বুটস্ট্র্যাপ করুন। নিম্নলিখিত কোডে, প্রয়োজন অনুযায়ী অ্যাকাউন্ট নম্বর এবং অঞ্চল সামঞ্জস্য করুন:

   cdk bootstrap aws://11111111111/eu-central-1

3. প্যাকেজ ইনস্টল করুন এবং কোড কম্পাইল করুন:

   npm install
   npm run build

4. AWS CDK অ্যাপ্লিকেশন সংশ্লেষিত করুন:

   npx cdk synth -c account=11111111111 -c region='eu-central-1' -c domain-name=team1 -c user=demo-user -c password=<your password>

5. আপনার পছন্দের অ্যাকাউন্ট এবং অঞ্চলে সমস্ত স্ট্যাক সহ অ্যাপ্লিকেশনটি স্থাপন করুন:

   npx cdk deploy --all -c account=11111111111 -c region='eu-central-1' -c domain-name=team1 -c user=demo-user -c password=<password>

6. একটি API কল করতে পোস্টম্যান অ্যাপ ডাউনলোড করুন।

আপনার যদি পোস্টম্যান অ্যাকাউন্ট না থাকে তবে আপনার ইমেল দিয়ে একটি বিনামূল্যে অ্যাকাউন্ট তৈরি করুন। আপনার যদি ইতিমধ্যেই একটি অ্যাকাউন্ট থাকে তবে আপনার অ্যাকাউন্টে সাইন ইন করুন।

7. উপরে ফাইল মেনু, নির্বাচন করুন আমদানি এবং আমদানি করুন পোস্টম্যান পরিবেশ JSON ফাইল GitHub রেপোতে অন্তর্ভুক্ত।
8. উপরে এনভায়রনমেন্ট পোস্টম্যান ট্যাবে, সেজমেকার নামক পরিবেশটি সনাক্ত করুন।
9. নিম্নলিখিত এনভায়রনমেন্ট ভেরিয়েবল যোগ করুন, যা আপনি স্ট্যাক ডিপ্লয়মেন্ট আউটপুটের অংশ হিসেবে দেখতে পাচ্ছেন SagemakerLoginStack:

   ..... output from the cdk deploy .....
   
   //PreSignedURLApi
   
   SageMaker-login-stack.PreSignedURLApiEndpointXXXX= https://xxxxxxx.execute-api.eu-central-1.amazonaws.com/prod/
   
   //UserPoolClientId
   
   SageMaker-login-stack.UserPoolUserPoolClientIdFXXXX = xxxxxxxxxxxxxxxx
   
   //UserPoolClientSecret
   
   SageMaker-login-stack.UserPoolUserPoolClientSecretC1D088A5 = xxxxxxxxxxxxxxx
   
   //CognitoSigninDomain
   
   SageMaker-login-stack.UserPoolCognitoSigninDomainD3B08161 = https://SageMaker-login-xxxxx.auth.eu-central-1.amazoncognito.com/oauth2

নিম্নলিখিত পরামিতিগুলি ব্যবহার করুন (cdk স্থাপনের সময় আউটপুট থেকে মানগুলি আনুন):

• • ডোমেন নাম – ডোমেইন নামের প্যারামিটারটি আপনি cdk স্থাপনে পাস করেছেন, উদাহরণস্বরূপ team1
  • ক্লায়েন্ট-আইডি - অ্যামাজন কগনিটো ক্লায়েন্ট আইডি
  • ক্লায়েন্ট-সিক্রেট - অ্যামাজন কগনিটো ক্লায়েন্ট সিক্রেট।
  • সেজমেকার-প্রধান-অপি - AWS CDK দ্বারা তৈরি API গেটওয়ের URL, যা নির্ধারিত URL তৈরি করে
  • cognito-সাইনইন-এন্ডপয়েন্ট - অ্যামাজন কগনিটো ডোমেনের শেষ পয়েন্ট URL যেখানে ক্লায়েন্ট অ্যাপ (এই ক্ষেত্রে, পোস্টম্যান) ব্যবহারকারীর (ডেমো-ব্যবহারকারী) শংসাপত্র প্রদান করে প্রমাণীকরণ করে

পরবর্তী ধাপ হল একটি OAuth2 টোকেন তৈরি করা।

• 10. উপরে অনুমোদন ট্যাবে, সেজমেকার পরিবেশ নির্বাচন করুন এবং নির্বাচন করুন নতুন অ্যাক্সেস টোকেন তৈরি করুন.

এই ট্যাবের সমস্ত মান আগে থেকে পূরণ করা উচিত।

• 11. পরিবেশ ভেরিয়েবল আপডেট করুন এবং নির্বাচন করুন নতুন অ্যাক্সেস টোকেন পান.

12. যে পপ-আপ উইন্ডোটি খোলে, সেখানে আপনার আগে ব্যবহার করা ব্যবহারকারীর নাম (ডেমো-ব্যবহারকারী) এবং পাসওয়ার্ড দিয়ে অ্যামাজন কগনিটোতে লগ ইন করুন।

সফল প্রমাণীকরণের পরে, একটি নতুন অ্যাক্সেস টোকেন তৈরি হয়।

13. বেছে নিন টোকেন ব্যবহার করুন.
14. বেছে নিন GeneratePresignedUrlDemo পোস্টম্যান সেজমেকার সংগ্রহে এবং নির্বাচন করুন সেন্ড.
15. ড্রপ-ডাউন তালিকায় আপনি সঠিক পরিবেশ (সেজমেকার) নির্বাচন করেছেন তা নিশ্চিত করুন।

এটি API গেটওয়েতে একটি REST API কল করে এবং SageMaker ডোমেনে অ্যাক্সেস করার জন্য একটি নির্ধারিত URL তৈরি করে। আপনি প্রতিক্রিয়া বডিতে এই URLটি দেখতে পারেন৷

16. এই URLটি অনুলিপি করুন এবং ব্রাউজার উইন্ডোতে প্রবেশ করুন৷

আপনার ব্যবহারকারী প্রোফাইলের সাথে একটি নতুন SageMaker ডোমেন চালু করা হবে।

এই ডেমো অ্যাপ্লিকেশনটি সেজমেকার বৈশিষ্ট্যগুলিকে সমর্থন করে যেমন প্রশিক্ষণের কাজ, প্রক্রিয়াকরণের কাজ এবং মডেল এন্ডপয়েন্ট। উল্লেখ্য যে বৈশিষ্ট্য মত আমাজন সেজমেকার ক্যানভাস, SageMaker JumpStart, এবং SageMaker ফিচার স্টোর সক্রিয় করা হয়নি।

পরিষ্কার কর

আপনার সংস্থানগুলি পরিষ্কার করতে নিম্নলিখিত পদক্ষেপগুলি সম্পূর্ণ করুন:

1. SageMaker কনসোলে, নেভিগেশন ফলকে, নির্বাচন করুন ডোমেইন, ব্যবহারকারী প্রোফাইল, এবং অ্যাপস.
2. এই সমাধান থেকে সমস্ত চলমান অ্যাপ (KernelGateway বা JupyterLab) মুছুন।
3. লগইন পদক্ষেপের সময় আপনার তৈরি করা সমস্ত SageMaker ব্যবহারকারী প্রোফাইল মুছুন।
4. অ্যামাজন ইএফএস কনসোলে, EFS ফাইল সিস্টেম মুছুন এই পোস্টের জন্য তৈরি করা হয়েছে।
5. AWS CDK দিয়ে তৈরি সংস্থানগুলি মুছতে নিম্নলিখিত কমান্ডটি চালান:

   npx cdk destroy --all

উপসংহার

পোস্টটি হাইলাইট করেছে যে কীভাবে ডয়েচে বাহন কার্যকরভাবে সেজমেকার স্টুডিওকে তার AI প্ল্যাটফর্মকে পুনর্গঠন করতে ব্যবহার করেছে, যার ফলে তার বিভিন্ন ডেটা বিশ্লেষণ দলগুলিকে সমর্থন করার জন্য একটি স্কেলযোগ্য, স্বয়ংক্রিয় এবং পরিচালনাযোগ্য সমাধান রয়েছে। এই আর্কিটেকচারে একটি কেন্দ্রীয় প্ল্যাটফর্ম অ্যাকাউন্ট, একটি স্ব-পরিষেবা ডোমেন অর্ডার প্রক্রিয়া এবং AWS CDK ব্যবহার করে অবকাঠামোর ব্যবস্থা রয়েছে। স্থাপনার প্রক্রিয়াটি একটি CI/CD পাইপলাইনকে অন্তর্ভুক্ত করে, যা SageMaker ডোমেনের মসৃণ ডেলিভারি নিশ্চিত করে।

সামগ্রিকভাবে, সেজমেকার স্টুডিও দ্বারা আনা রূপান্তরটি ডয়েচে বাহনকে তাদের AI উদ্যোগের জন্য একটি শক্তিশালী প্ল্যাটফর্ম তৈরি করতে, 100 টিরও বেশি ডেভেলপারদের জন্য এবং একটি AWS অ্যাকাউন্টের মধ্যে 20টি SageMaker ডোমেন পরিচালনা করার ক্ষমতা দিয়েছে৷

পরিশেষে, আমরা নিকো সিগার্ট (ডি-ফাইন) এবং ফিলিপ ভলমার (ডয়েচে বাহন) এর প্রতি আমাদের আন্তরিক কৃতজ্ঞতা জানাই, যাদের অমূল্য অবদান এই স্থাপত্যকে গঠনে সহায়ক ছিল।

আরও পড়ার জন্য, নিম্নলিখিত সংস্থানগুলি পড়ুন:

___________________________________________________________________________________________

লেখক সম্পর্কে

প্রসন্ন তুলাধর জার্মানির মিউনিখে AWS প্রফেশনাল সার্ভিসেস-এর একজন ক্লাউড ইনফ্রাস্ট্রাকচার আর্কিটেক্ট৷ AWS প্ল্যাটফর্মে ক্লাউড অবকাঠামো, কাজের চাপ স্থানান্তর এবং DevOps-এ বিশেষায়িত করে, তিনি গ্রাহকদের তাদের ব্যবসায়িক লক্ষ্য অর্জনের ক্ষমতা দেন। কাজের বাইরে, তিনি তার পরিবারের সাথে জগিং, হাইকিং এবং মানসম্পন্ন সময় উপভোগ করেন।

ইমানুয়েল ড্রসোস DBSystel-এর AI প্ল্যাটফর্মের জন্য একজন পণ্যের মালিক, ডয়েচে বাহন (DB) জার্মানির একটি সহায়ক৷ উদ্ভাবন এবং প্রযুক্তির প্রতি অনুরাগের সাথে, ইমানুয়েল DB (Deutsche Bahn)-এ AI প্ল্যাটফর্ম চালানোর জন্য ক্লাউডের শক্তিকে কাজে লাগানোর লক্ষ্যে উদ্যোগের নেতৃত্ব দেন। AI.Platform হল DB-এর গ্রুপ-ব্যাপী উন্নয়ন প্ল্যাটফর্মগুলির মধ্যে একটি। এটিতে এআই (মেশিন লার্নিং) মডেল এবং সরাসরি ব্যবহারযোগ্য এআই পরিষেবাগুলির বিকাশের জন্য এআই পরিষেবা এবং সরঞ্জামগুলি অন্তর্ভুক্ত রয়েছে। সহজ, সমন্বিত এবং স্কেলযোগ্য। তিনি AI প্ল্যাটফর্মের পূর্ণ সম্ভাবনা আনলক করতে অন্যান্য DB গ্রাহকদের সাথে ঘনিষ্ঠভাবে কাজ করেন, তাদের ব্যবসায়িক উদ্দেশ্যগুলি দক্ষতার সাথে এবং কার্যকরভাবে অর্জন করতে সক্ষম করে। তার পেশাগত ক্রিয়াকলাপের বাইরে, ইমানুয়েল ভ্রমণ উপভোগ করেন এবং একজন উত্সাহী প্রকৃতি এবং হাইকিং প্রেমী।

বিশ্বনাথ ভাট জার্মানিতে অবস্থিত AWS প্রফেশনাল সার্ভিসেস-এর একজন DevOps স্থপতি৷ তিনি গ্রাহকদের ক্লাউডের সম্পূর্ণ সুবিধা পেতে এবং AWS ক্লাউডের মাধ্যমে তাদের ব্যবসায়িক লক্ষ্য অর্জনে সহায়তা করেন। কাজ না করলে, তিনি আলপাইন হ্রদে সাঁতার কাটতে, হাইকিং করতে, পড়তে বা ফুটবল খেলতে পছন্দ করেন।

কুমুধন চেরারাজন সুইজারল্যান্ডে অবস্থিত AWS পেশাদার পরিষেবার একজন DevOps পরামর্শদাতা। তিনি গ্রাহকদের প্রক্রিয়া এবং পরিষেবাগুলি গ্রহণ করতে সাহায্য করার বিষয়ে উত্সাহী যা ক্লাউড ভ্রমণে তাদের দক্ষতা বৃদ্ধি করে৷ যখন কাজ না হয়, তিনি ক্রিকেট এবং গান খেলতে পছন্দ করেন।

• এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
• PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
• প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
• প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
• প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
• উত্স: https://aws.amazon.com/blogs/machine-learning/supercharge-your-ai-team-with-amazon-sagemaker-studio-a-comprehensive-view-of-deutsche-bahns-ai-platform-transformation/