বৃহৎ ভাষা মডেলের (LLMs) জন্য ডিস্ট্রিবিউটেড ডিপ লার্নিং-এর ক্ষেত্রে অসাধারণ অগ্রগতি হয়েছে, বিশেষ করে ডিসেম্বর 2022-এ ChatGPT প্রকাশের পরে। LLMগুলি বিলিয়ন বা এমনকি ট্রিলিয়ন প্যারামিটারের সাথে আকারে বাড়তে থাকে, এবং তারা প্রায়শই তা করে না মেমরির সীমাবদ্ধতার কারণে একটি একক অ্যাক্সিলারেটর ডিভাইস যেমন GPU বা এমনকি একটি একক নোড যেমন ml.p5.32xlarge-এ ফিট করুন। এলএলএম প্রশিক্ষণপ্রাপ্ত গ্রাহকদের প্রায়শই তাদের কাজের চাপ শত শত বা হাজার হাজার জিপিইউ জুড়ে বিতরণ করতে হবে। বিতরণকৃত প্রশিক্ষণের ক্ষেত্রে এই ধরণের প্রশিক্ষণ সক্ষম করা একটি চ্যালেঞ্জ হিসাবে রয়ে গেছে এবং এত বড় সিস্টেমে দক্ষতার সাথে প্রশিক্ষণ দেওয়া আরেকটি সমান গুরুত্বপূর্ণ সমস্যা। বিগত বছরগুলিতে, বিতরণ করা প্রশিক্ষণ সম্প্রদায় এই ধরনের চ্যালেঞ্জ মোকাবেলায় 3D সমান্তরালতা (ডেটা সমান্তরালতা, পাইপলাইন সমান্তরালতা, এবং টেনসর সমান্তরালতা) এবং অন্যান্য কৌশল (যেমন ক্রম সমান্তরালতা এবং বিশেষজ্ঞ সমান্তরালতা) চালু করেছে।
2023 সালের ডিসেম্বরে, অ্যামাজন প্রকাশের ঘোষণা দেয় SageMaker মডেল সমান্তরাল লাইব্রেরি 2.0 (SMP), যা বৃহৎ মডেল প্রশিক্ষণে অত্যাধুনিক দক্ষতা অর্জন করে সেজমেকার ডেটা সমান্তরাল লাইব্রেরি বিতরণ করেছে (SMDDP)। এই রিলিজটি 1.x থেকে একটি উল্লেখযোগ্য আপডেট: SMP এখন ওপেন সোর্স PyTorch এর সাথে একত্রিত হয়েছে সমান্তরালভাবে ধার করা ডেটা (FSDP) API, যা আপনাকে বড় মডেলের প্রশিক্ষণ দেওয়ার সময় একটি পরিচিত ইন্টারফেস ব্যবহার করতে দেয় এবং এর সাথে সামঞ্জস্যপূর্ণ ট্রান্সফরমার ইঞ্জিন (TE), প্রথমবারের মতো FSDP-এর পাশাপাশি টেনসর সমান্তরাল কৌশলগুলি আনলক করা। রিলিজ সম্পর্কে আরো জানতে, পড়ুন Amazon SageMaker মডেলের সমান্তরাল লাইব্রেরি এখন PyTorch FSDP ওয়ার্কলোডকে 20% পর্যন্ত ত্বরান্বিত করে.
এই পোস্টে, আমরা এর পারফরম্যান্স সুবিধাগুলি অন্বেষণ করি আমাজন সেজমেকার (SMP এবং SMDDP সহ), এবং কিভাবে আপনি সেজমেকারে বড় মডেলগুলিকে দক্ষতার সাথে প্রশিক্ষণের জন্য লাইব্রেরি ব্যবহার করতে পারেন। আমরা 4টি দৃষ্টান্ত পর্যন্ত ml.p24d.128x বড় ক্লাস্টারে বেঞ্চমার্ক সহ SageMaker-এর কর্মক্ষমতা প্রদর্শন করি এবং Llama 16 মডেলের জন্য bfloat2-এর সাথে FSDP মিশ্র নির্ভুলতা প্রদর্শন করি। আমরা সেজমেকারের কাছাকাছি-রৈখিক স্কেলিং দক্ষতার একটি প্রদর্শনের সাথে শুরু করি, তারপরে সর্বোত্তম থ্রুপুটের জন্য প্রতিটি বৈশিষ্ট্য থেকে অবদান বিশ্লেষণ করে এবং টেনসর সমান্তরালতার মাধ্যমে 32,768 পর্যন্ত বিভিন্ন ক্রম দৈর্ঘ্য সহ দক্ষ প্রশিক্ষণের মাধ্যমে শেষ করি।
সেজমেকারের সাথে কাছাকাছি-রৈখিক স্কেলিং
LLM মডেলগুলির জন্য সামগ্রিক প্রশিক্ষণের সময় কমাতে, আন্তঃ-নোড যোগাযোগ ওভারহেডের কারণে বড় ক্লাস্টারে (হাজার হাজার GPU) স্কেলিং করার সময় উচ্চ থ্রুপুট সংরক্ষণ করা অত্যন্ত গুরুত্বপূর্ণ। এই পোস্টে, আমরা এসএমপি এবং এসএমডিডিপি উভয়ের জন্য p4d দৃষ্টান্তগুলিতে শক্তিশালী এবং কাছাকাছি-রৈখিক স্কেলিং (নির্দিষ্ট মোট সমস্যা আকারের জন্য GPU-গুলির সংখ্যার পরিবর্তন করে) দক্ষতা প্রদর্শন করি।
এই বিভাগে, আমরা SMP-এর কাছাকাছি-রৈখিক স্কেলিং কর্মক্ষমতা প্রদর্শন করি। এখানে আমরা 2 এর একটি নির্দিষ্ট ক্রম দৈর্ঘ্য ব্যবহার করে বিভিন্ন আকারের (7B, 13B, এবং 70B প্যারামিটার) Llama 4,096 মডেলকে প্রশিক্ষণ দিই, যৌথ যোগাযোগের জন্য SMDDP ব্যাকএন্ড, TE সক্ষম, 4 মিলিয়নের বৈশ্বিক ব্যাচের আকার, 16 থেকে 128 p4d নোড সহ . নিম্নলিখিত সারণী আমাদের সর্বোত্তম কনফিগারেশন এবং প্রশিক্ষণ কর্মক্ষমতা (প্রতি সেকেন্ডে মডেল TFLOPs) সংক্ষিপ্ত করে।
| মডেল আকার | নোডের সংখ্যা | TFLOPs* | এসডিপি* | টিপি* | অফলোড* | স্কেলিং দক্ষতা |
| 7B | 16 | 136.76 | 32 | 1 | N | 100.0% |
| 32 | 132.65 | 64 | 1 | N | 97.0% | |
| 64 | 125.31 | 64 | 1 | N | 91.6% | |
| 128 | 115.01 | 64 | 1 | N | 84.1% | |
| 13B | 16 | 141.43 | 32 | 1 | Y | 100.0% |
| 32 | 139.46 | 256 | 1 | N | 98.6% | |
| 64 | 132.17 | 128 | 1 | N | 93.5% | |
| 128 | 120.75 | 128 | 1 | N | 85.4% | |
| 70B | 32 | 154.33 | 256 | 1 | Y | 100.0% |
| 64 | 149.60 | 256 | 1 | N | 96.9% | |
| 128 | 136.52 | 64 | 2 | N | 88.5% |
*প্রদত্ত মডেলের আকার, ক্রম দৈর্ঘ্য এবং নোডের সংখ্যায়, আমরা বিভিন্ন sdp, tp, এবং সক্রিয়করণ অফলোডিং সংমিশ্রণগুলি অন্বেষণ করার পরে বিশ্বব্যাপী সর্বোত্তম থ্রুপুট এবং কনফিগারেশন দেখাই।
পূর্ববর্তী সারণীটি শার্ডেড ডেটা প্যারালাল (এসডিপি) ডিগ্রি (সাধারণত পূর্ণ শার্ডিংয়ের পরিবর্তে এফএসডিপি হাইব্রিড শার্ডিং ব্যবহার করে, পরবর্তী বিভাগে আরও বিশদ সহ), টেনসর সমান্তরাল (টিপি) ডিগ্রি এবং সক্রিয়করণ অফলোডিং মান পরিবর্তনের সাপেক্ষে সর্বোত্তম থ্রুপুট সংখ্যাগুলির সংক্ষিপ্তসার করে, SMDDP-এর সাথে SMP-এর কাছাকাছি-রৈখিক স্কেলিং প্রদর্শন করা। উদাহরণস্বরূপ, Llama 2 মডেলের আকার 7B এবং ক্রম দৈর্ঘ্য 4,096 দেওয়া হয়েছে, সামগ্রিকভাবে এটি যথাক্রমে 97.0, 91.6 এবং 84.1 নোডে 16%, 32%, এবং 64% (128 নোডের সাথে সম্পর্কিত) স্কেলিং দক্ষতা অর্জন করে। স্কেলিং দক্ষতা বিভিন্ন মডেলের আকার জুড়ে স্থিতিশীল এবং মডেলের আকার বড় হওয়ার সাথে সাথে কিছুটা বৃদ্ধি পায়।
SMP এবং SMDDP অন্যান্য ক্রম দৈর্ঘ্য যেমন 2,048 এবং 8,192 এর জন্য অনুরূপ স্কেলিং দক্ষতা প্রদর্শন করে।
SageMaker মডেল সমান্তরাল লাইব্রেরি 2.0 কর্মক্ষমতা: Llama 2 70B
এলএলএম সম্প্রদায়ে ঘন ঘন অত্যাধুনিক পারফরম্যান্স আপডেটের সাথে মডেলের আকারগুলি বিগত বছরগুলিতে বাড়তে থাকে। এই বিভাগে, আমরা একটি নির্দিষ্ট মডেলের আকার 2B, 70 এর ক্রম দৈর্ঘ্য এবং 4,096 মিলিয়নের একটি বিশ্বব্যাপী ব্যাচের আকার ব্যবহার করে লামা 4 মডেলের জন্য SageMaker-এর কর্মক্ষমতা চিত্রিত করি। পূর্ববর্তী টেবিলের বিশ্বব্যাপী সর্বোত্তম কনফিগারেশন এবং থ্রুপুট (SMDDP ব্যাকএন্ডের সাথে, সাধারণত FSDP হাইব্রিড শার্ডিং এবং TE) এর সাথে তুলনা করার জন্য, নিম্নলিখিত টেবিলটি বিতরণ করা ব্যাকএন্ডে অতিরিক্ত স্পেসিফিকেশন সহ অন্যান্য সর্বোত্তম থ্রুপুট (সম্ভাব্যভাবে টেনসর সমান্তরালতার সাথে) প্রসারিত হয়েছে (NCCL এবং SMDDP) , FSDP শার্ডিং কৌশল (সম্পূর্ণ শার্ডিং এবং হাইব্রিড শার্ডিং), এবং TE সক্ষম করা বা না (ডিফল্ট)।
| মডেল আকার | নোডের সংখ্যা | টেরাফ্লপস | TFLOPs #3 কনফিগারেশন | বেসলাইনের উপর TFLOPs উন্নতি | ||||||||
| . | . | NCCL সম্পূর্ণ শার্ডিং: #0 | SMDDP ফুল শার্ডিং: #1 | SMDDP হাইব্রিড শার্ডিং: #2 | TE এর সাথে SMDDP হাইব্রিড শার্ডিং: #3 | এসডিপি* | টিপি* | অফলোড* | #0 → #1 | #1 → #2 | #2 → #3 | #0 → #3 |
| 70B | 32 | 150.82 | 149.90 | 150.05 | 154.33 | 256 | 1 | Y | -0.6% | 0.1% | 2.9% | 2.3% |
| 64 | 144.38 | 144.38 | 145.42 | 149.60 | 256 | 1 | N | 0.0% | 0.7% | 2.9% | 3.6% | |
| 128 | 68.53 | 103.06 | 130.66 | 136.52 | 64 | 2 | N | 50.4% | 26.8% | 4.5% | 99.2% | |
*প্রদত্ত মডেলের আকার, ক্রম দৈর্ঘ্য এবং নোডের সংখ্যায়, আমরা বিভিন্ন sdp, tp, এবং সক্রিয়করণ অফলোডিং সংমিশ্রণগুলি অন্বেষণ করার পরে বিশ্বব্যাপী সর্বোত্তম থ্রুপুট এবং কনফিগারেশন দেখাই।
SMP এবং SMDDP-এর সর্বশেষ রিলিজটি নেটিভ PyTorch FSDP, বর্ধিত এবং আরও নমনীয় হাইব্রিড শার্ডিং, ট্রান্সফরমার ইঞ্জিন ইন্টিগ্রেশন, টেনসর সমান্তরালতা এবং অপ্টিমাইজ করা সমস্ত সমষ্টিগত অপারেশন সহ একাধিক বৈশিষ্ট্য সমর্থন করে। সেজমেকার কীভাবে এলএলএম-এর জন্য দক্ষ বিতরণ প্রশিক্ষণ অর্জন করে তা আরও ভালভাবে বোঝার জন্য, আমরা এসএমডিডিপি এবং নিম্নলিখিত এসএমপি থেকে ক্রমবর্ধমান অবদানগুলি অন্বেষণ করি কোর বৈশিষ্ট্য:
- FSDP ফুল শার্ডিং সহ NCCL এর উপর SMDDP বর্ধিতকরণ
- এফএসডিপি ফুল শার্ডিংকে হাইব্রিড শার্ডিং দিয়ে প্রতিস্থাপন করা হচ্ছে, যা থ্রুপুট উন্নত করতে যোগাযোগ খরচ কমিয়ে দেয়
- TE এর সাথে থ্রুপুটকে আরও বুস্ট করে, এমনকি যখন টেনসর সমান্তরালতা নিষ্ক্রিয় থাকে
- নিম্ন সম্পদ সেটিংসে, সক্রিয়করণ অফলোডিং প্রশিক্ষণ সক্ষম করতে সক্ষম হতে পারে যা অন্যথায় উচ্চ মেমরির চাপের কারণে অকার্যকর বা খুব ধীর হবে
এফএসডিপি ফুল শার্ডিং: এনসিএল-এর উপর এসএমডিডিপি বর্ধিতকরণ
পূর্ববর্তী সারণীতে দেখানো হয়েছে, যখন মডেলগুলি সম্পূর্ণরূপে FSDP-এর সাথে শার্ড করা হয়, যদিও NCCL (TFLOPs #0) এবং SMDDP (TFLOPs #1) থ্রুপুটগুলি 32 বা 64 নোডে তুলনীয়, NCCL থেকে SMDDP-তে 50.4% এর বিশাল উন্নতি হয়েছে৷ 128 নোডে।
ছোট মডেলের আকারে, আমরা NCCL এর তুলনায় SMDDP-এর সাথে সামঞ্জস্যপূর্ণ এবং উল্লেখযোগ্য উন্নতি লক্ষ্য করি, ছোট ক্লাস্টার আকার থেকে শুরু করে, কারণ SMDDP কার্যকরভাবে যোগাযোগের বাধা প্রশমিত করতে সক্ষম।
যোগাযোগ খরচ কমাতে FSDP হাইব্রিড শার্ডিং
SMP 1.0 এ, আমরা চালু করেছি শার্ড ডেটা সমান্তরালতা, অ্যামাজন ইন-হাউস দ্বারা চালিত একটি বিতরণকৃত প্রশিক্ষণ কৌশল এমআইসিএস প্রযুক্তি. SMP 2.0-এ, আমরা SMP হাইব্রিড শার্ডিং প্রবর্তন করি, একটি এক্সটেনসিবল এবং আরও নমনীয় হাইব্রিড শার্ডিং কৌশল যা মডেলগুলিকে GPU-এর একটি উপসেটের মধ্যে শার্ড করার অনুমতি দেয়, সমস্ত প্রশিক্ষণ GPU-এর পরিবর্তে, যা FSDP ফুল শার্ডিংয়ের ক্ষেত্রে। এটি মাঝারি আকারের মডেলগুলির জন্য দরকারী যেগুলি প্রতি-GPU মেমরির সীমাবদ্ধতাগুলি সন্তুষ্ট করার জন্য সমগ্র ক্লাস্টার জুড়ে শার্ড করার প্রয়োজন নেই৷ এর ফলে একাধিক মডেলের প্রতিলিপি থাকা ক্লাস্টার এবং প্রতিটি GPU রানটাইমে কম সমবয়সীদের সাথে যোগাযোগ করে।
SMP এর হাইব্রিড শার্ডিং একটি বিস্তৃত পরিসরে দক্ষ মডেল শার্ডিং সক্ষম করে, ক্ষুদ্রতম শার্ড ডিগ্রী থেকে মেমরির সমস্যা ছাড়াই পুরো ক্লাস্টার আকার পর্যন্ত (যা সম্পূর্ণ শার্ডিংয়ের সমান)।
নিম্নলিখিত চিত্রটি সরলতার জন্য tp = 1 এ sdp-এর উপর থ্রুপুট নির্ভরতাকে চিত্রিত করে। যদিও এটি পূর্ববর্তী টেবিলে NCCL বা SMDDP ফুল শার্ডিংয়ের জন্য সর্বোত্তম টিপি মানের সমান নয়, সংখ্যাগুলি বেশ কাছাকাছি। এটি 128 নোডের একটি বড় ক্লাস্টার আকারে সম্পূর্ণ শার্ডিং থেকে হাইব্রিড শার্ডিং-এ স্যুইচ করার মানকে স্পষ্টভাবে যাচাই করে, যা NCCL এবং SMDDP উভয় ক্ষেত্রেই প্রযোজ্য। ছোট মডেলের আকারের জন্য, হাইব্রিড শার্ডিংয়ের সাথে উল্লেখযোগ্য উন্নতিগুলি ছোট ক্লাস্টার আকারে শুরু হয় এবং ক্লাস্টার আকারের সাথে পার্থক্য বাড়তে থাকে।
TE এর সাথে উন্নতি
TE কে NVIDIA GPU-তে LLM প্রশিক্ষণ ত্বরান্বিত করার জন্য ডিজাইন করা হয়েছে। FP8 ব্যবহার না করা সত্ত্বেও এটি p4d দৃষ্টান্তে অসমর্থিত, আমরা এখনও p4d তে TE এর সাথে উল্লেখযোগ্য গতি দেখতে পাই।
SMDDP ব্যাকএন্ডের সাথে প্রশিক্ষিত MiCS-এর উপরে, TE সমস্ত ক্লাস্টার মাপ জুড়ে থ্রুপুটের জন্য একটি সামঞ্জস্যপূর্ণ বুস্ট প্রবর্তন করে (একমাত্র ব্যতিক্রম হল 128 নোডে ফুল শার্ডিং), এমনকি যখন টেনসর সমান্তরালতা নিষ্ক্রিয় থাকে (টেনসর সমান্তরাল ডিগ্রি 1)।
ছোট মডেলের আকার বা বিভিন্ন ক্রম দৈর্ঘ্যের জন্য, TE বুস্ট স্থিতিশীল এবং অ-তুচ্ছ, প্রায় 3-7.6% এর পরিসরে।
কম রিসোর্স সেটিংসে অ্যাক্টিভেশন অফলোডিং
কম রিসোর্স সেটিংসে (অল্প সংখ্যক নোড দেওয়া হয়েছে), যখন অ্যাক্টিভেশন চেকপয়েন্টিং সক্ষম করা থাকে তখন FSDP উচ্চ মেমরির চাপ অনুভব করতে পারে (বা এমনকি সবচেয়ে খারাপ ক্ষেত্রেও মেমরির বাইরে)। মেমরি দ্বারা বাধাগ্রস্ত এই ধরনের পরিস্থিতিতে, সক্রিয়করণ অফলোডিং চালু করা কার্যক্ষমতা উন্নত করার জন্য একটি সম্ভাব্য বিকল্প।
উদাহরণস্বরূপ, যেমনটি আমরা আগে দেখেছি, যদিও Llama 2 মডেল সাইজ 13B এবং সিকোয়েন্স দৈর্ঘ্য 4,096 অ্যাক্টিভেশন চেকপয়েন্টিং সহ কমপক্ষে 32টি নোড সহ সর্বোত্তমভাবে প্রশিক্ষণ দিতে সক্ষম এবং অ্যাক্টিভেশন অফলোডিং ছাড়াই, এটি 16-এ সীমাবদ্ধ থাকাকালীন অ্যাক্টিভেশন অফলোডিং সহ সর্বোত্তম থ্রুপুট অর্জন করে। নোড
দীর্ঘ ক্রম সহ প্রশিক্ষণ সক্ষম করুন: SMP টেনসর সমান্তরালতা
দীর্ঘ কথোপকথন এবং প্রসঙ্গের জন্য দীর্ঘ ক্রম দৈর্ঘ্য পছন্দসই, এবং LLM সম্প্রদায়ে আরও মনোযোগ পাচ্ছে। অতএব, আমরা নিম্নলিখিত টেবিলে বিভিন্ন দীর্ঘ ক্রম থ্রুপুট রিপোর্ট করি। টেবিলটি সেজমেকারে লামা 2 প্রশিক্ষণের জন্য সর্বোত্তম থ্রুপুট দেখায়, 2,048 থেকে 32,768 পর্যন্ত বিভিন্ন ক্রম দৈর্ঘ্য সহ। ক্রম দৈর্ঘ্য 32,768 এ, 32 মিলিয়ন বৈশ্বিক ব্যাচ আকারে 4 নোডের সাথে স্থানীয় FSDP প্রশিক্ষণ অসম্ভাব্য।
| . | . | . | টেরাফ্লপস | ||
| মডেল আকার | সিকোয়েন্স দৈর্ঘ্য | নোডের সংখ্যা | নেটিভ FSDP এবং NCCL | SMP এবং SMDDP | এসএমপি উন্নতি |
| 7B | 2048 | 32 | 129.25 | 138.17 | 6.9% |
| 4096 | 32 | 124.38 | 132.65 | 6.6% | |
| 8192 | 32 | 115.25 | 123.11 | 6.8% | |
| 16384 | 32 | 100.73 | 109.11 | 8.3% | |
| 32768 | 32 | এনএ | 82.87 | . | |
| 13B | 2048 | 32 | 137.75 | 144.28 | 4.7% |
| 4096 | 32 | 133.30 | 139.46 | 4.6% | |
| 8192 | 32 | 125.04 | 130.08 | 4.0% | |
| 16384 | 32 | 111.58 | 117.01 | 4.9% | |
| 32768 | 32 | এনএ | 92.38 | . | |
| *: সর্বোচ্চ | . | . | . | . | 8.3% |
| *: মধ্যমা | . | . | . | . | 5.8% |
যখন ক্লাস্টারের আকার বড় হয় এবং একটি নির্দিষ্ট গ্লোবাল ব্যাচের আকার দেওয়া হয়, তখন কিছু মডেল প্রশিক্ষণ নেটিভ PyTorch FSDP-এর সাথে অসম্ভাব্য হতে পারে, একটি অন্তর্নির্মিত পাইপলাইন বা টেনসর সমান্তরাল সমর্থনের অভাব রয়েছে। পূর্ববর্তী সারণীতে, বিশ্বব্যাপী ব্যাচের আকার 4 মিলিয়ন, 32 নোড এবং 32,768 অনুক্রমের দৈর্ঘ্য দেওয়া হয়েছে, প্রতি GPU কার্যকর ব্যাচের আকার হল 0.5 (উদাহরণস্বরূপ, ব্যাচের আকার 2 সহ tp = 1), যা অন্যথায় প্রবর্তন ছাড়াই অকার্যকর হবে। টেনসর সমান্তরালতা।
উপসংহার
এই পোস্টে, আমরা p4d দৃষ্টান্তে SMP এবং SMDDP-এর সাথে দক্ষ LLM প্রশিক্ষণ প্রদর্শন করেছি, একাধিক মূল বৈশিষ্ট্যগুলিতে অবদানের জন্য অবদান রেখেছি, যেমন NCCL-এর উপর SMDDP বর্ধিতকরণ, সম্পূর্ণ শার্ডিংয়ের পরিবর্তে নমনীয় FSDP হাইব্রিড শার্ডিং, TE ইন্টিগ্রেশন, এবং টেনসর সমান্তরালতা সক্ষম করা। দীর্ঘ ক্রম দৈর্ঘ্য. বিভিন্ন মডেল, মডেলের আকার এবং ক্রম দৈর্ঘ্য সহ বিস্তৃত সেটিংসের উপর পরীক্ষা করার পরে, এটি SageMaker-এ 128 p4d দৃষ্টান্ত পর্যন্ত শক্তিশালী কাছাকাছি-রৈখিক স্কেলিং দক্ষতা প্রদর্শন করে। সংক্ষেপে, সেজমেকার এলএলএম গবেষক এবং অনুশীলনকারীদের জন্য একটি শক্তিশালী হাতিয়ার হয়ে চলেছে।
আরো জানতে, পড়ুন SageMaker মডেল সমান্তরাল লাইব্রেরি v2, অথবা SMP টিমের সাথে যোগাযোগ করুন [ইমেল সুরক্ষিত].
প্রাপ্তি স্বীকার
আমরা রবার্ট ভ্যান ডুসেন, বেন স্নাইডার, গৌতম কুমার, এবং লুইস কুইন্টেলাকে তাদের গঠনমূলক প্রতিক্রিয়া এবং আলোচনার জন্য ধন্যবাদ জানাতে চাই।
লেখক সম্পর্কে
জিনলে শিলা লিউ অ্যামাজন সেজমেকারের একটি এসডিই। তার অবসর সময়ে, তিনি পড়া এবং আউটডোর খেলা উপভোগ করেন।
সুহিত কোডগুলে AWS আর্টিফিশিয়াল ইন্টেলিজেন্স গ্রুপের সাথে ডিপ লার্নিং ফ্রেমওয়ার্ক নিয়ে কাজ করে একজন সফটওয়্যার ডেভেলপমেন্ট ইঞ্জিনিয়ার। তার অবসর সময়ে, তিনি হাইকিং, ভ্রমণ এবং রান্না উপভোগ করেন।
ভিক্টর ঝু অ্যামাজন ওয়েব সার্ভিসে ডিস্ট্রিবিউটেড ডিপ লার্নিং-এ একজন সফটওয়্যার ইঞ্জিনিয়ার। তাকে এসএফ বে এরিয়ার চারপাশে হাইকিং এবং বোর্ড গেম উপভোগ করতে দেখা যায়।
ডেরিয়া কাভদার AWS এ সফটওয়্যার ইঞ্জিনিয়ার হিসেবে কাজ করেন। তার আগ্রহের মধ্যে রয়েছে গভীর শিক্ষা এবং বিতরণ করা প্রশিক্ষণ অপ্টিমাইজেশন।
টেং জু AWS AI-তে ডিস্ট্রিবিউটেড ট্রেনিং গ্রুপে একজন সফটওয়্যার ডেভেলপমেন্ট ইঞ্জিনিয়ার। তিনি পড়া উপভোগ করেন।
- এসইও চালিত বিষয়বস্তু এবং পিআর বিতরণ। আজই পরিবর্ধিত পান।
- PlatoData.Network উল্লম্ব জেনারেটিভ Ai. নিজেকে ক্ষমতায়িত করুন। এখানে প্রবেশ করুন.
- প্লেটোএআইস্ট্রিম। Web3 ইন্টেলিজেন্স। জ্ঞান প্রসারিত. এখানে প্রবেশ করুন.
- প্লেটোইএসজি। কার্বন, ক্লিনটেক, শক্তি, পরিবেশ সৌর, বর্জ্য ব্যবস্থাপনা. এখানে প্রবেশ করুন.
- প্লেটো হেলথ। বায়োটেক এবং ক্লিনিক্যাল ট্রায়াল ইন্টেলিজেন্স। এখানে প্রবেশ করুন.
- উত্স: https://aws.amazon.com/blogs/machine-learning/distributed-training-and-efficient-scaling-with-the-amazon-sagemaker-model-parallel-and-data-parallel-libraries/
