جنریٹیو ڈیٹا انٹیلی جنس

کس طرح Earth.com اور Provectus نے Amazon SageMaker کے ساتھ اپنے MLOps انفراسٹرکچر کو لاگو کیا ایمیزون ویب سروسز

تاریخ:

یہ بلاگ پوسٹ Provectus سے Marat Adayev اور Dmitrii Evstiukhin کے ساتھ مل کر لکھی گئی ہے۔

جب مشین لرننگ (ML) ماڈلز کو پروڈکشن میں لگایا جاتا ہے اور کاروباری فیصلوں کو چلانے کے لیے استعمال کیا جاتا ہے، تو چیلنج اکثر متعدد ماڈلز کے آپریشن اور انتظام میں ہوتا ہے۔ مشین لرننگ آپریشنز (MLOps) اس مسئلے کا تکنیکی حل فراہم کرتا ہے، تنظیموں کو مرکزی پلیٹ فارم پر ان کے ماڈلز کے انتظام، نگرانی، تعیناتی اور ان پر حکومت کرنے میں مدد کرتا ہے۔

بڑے پیمانے پر، حقیقی وقت کی تصویر کی شناخت ایک پیچیدہ تکنیکی مسئلہ ہے جس کے لیے MLOps کے نفاذ کی بھی ضرورت ہوتی ہے۔ ML لائف سائیکل کے موثر انتظام کو فعال کرنے سے، MLOps ڈیٹا، ماڈلز، اور تصورات میں مختلف تبدیلیوں کا حساب کتاب کرنے میں مدد کر سکتے ہیں جن سے حقیقی وقت کی تصویر کی شناخت کی ایپلی کیشنز کی ترقی وابستہ ہے۔

ایسی ہی ایک درخواست ہے۔ ارتھ اسنیپ، ایک AI سے چلنے والی امیج ریکگنیشن ایپلی کیشن جو صارفین کو اپنے سمارٹ فون پر کیمرہ استعمال کرتے ہوئے ہر قسم کے پودوں اور جانوروں کی شناخت کرنے کے قابل بناتی ہے۔ EarthSnap کی طرف سے تیار کیا گیا تھا Earth.com، ماحول، فطرت اور سائنس کے بارے میں پرجوش رہنے والے شائقین کے لیے ایک معروف آن لائن پلیٹ فارم۔

Earth.com کی قیادت کی ٹیم نے EarthSnap کی وسیع صلاحیت کو تسلیم کیا اور ایک ایسی ایپلی کیشن بنانے کے لیے نکلی جو کمپیوٹر وژن (CV) کے لیے جدید ترین ڈیپ لرننگ (DL) فن تعمیر کو استعمال کرتی ہے۔ تاہم، انہیں اپنے ایم ایل سسٹم کے انتظام اور اسکیلنگ میں چیلنجوں کا سامنا کرنا پڑا، جس میں مختلف سائلڈ ایم ایل اور انفراسٹرکچر کے اجزاء شامل تھے جنہیں دستی طور پر برقرار رکھا جانا تھا۔ انہیں ایک کلاؤڈ پلیٹ فارم اور ایک اسٹریٹجک پارٹنر کی ضرورت تھی جس میں پروڈکشن کے لیے تیار AI/ML حل فراہم کرنے میں مہارت حاصل ہو، تاکہ EarthSnap کو تیزی سے مارکیٹ میں لایا جا سکے۔ وہ ہے جہاں پرویکٹسایک AWS پریمیئر کنسلٹنگ پارٹنر مشین لرننگ، ڈیٹا اور تجزیات، اور ڈی او اوپس میں قابلیت کے ساتھ، قدم بڑھایا۔

یہ پوسٹ بتاتی ہے کہ Provectus اور Earth.com کس طرح EarthSnap کی AI سے چلنے والی تصویر کی شناخت کی صلاحیتوں کو بڑھانے، انجینئرنگ ہیوی لفٹنگ کو کم کرنے، اور ایک منظم MLOps پلیٹ فارم کے حصے کے طور پر ڈیلیور کردہ اینڈ ٹو اینڈ ایم ایل پائپ لائنوں کو لاگو کرکے انتظامی اخراجات کو کم کرنے کے قابل تھے۔ اور منظم AI خدمات۔

ابتدائی نقطہ نظر میں درپیش چیلنجز

Earth.com کی ایگزیکٹو ٹیم EarthSnap کے آغاز کو تیز کرنے کے لیے بے چین تھی۔ انہوں نے ایمیزون سیج میکر کا استعمال کرتے ہوئے امیج ریکگنیشن ماڈلز بنا کر AI/ML صلاحیتوں پر تیزی سے کام کرنا شروع کیا۔ مندرجہ ذیل خاکہ ابتدائی تصویر کی شناخت ایم ایل ورک فلو دکھاتا ہے، دستی طور پر اور ترتیب وار چلائیں۔

Earth.com کے تیار کردہ ماڈل مختلف نوٹ بکوں میں رہتے تھے۔ انہیں ڈیٹا پر کارروائی کرنے اور ماڈل کو دوبارہ تربیت دینے کے لیے پیچیدہ نوٹ بکس کی ایک سیریز کے دستی ترتیب وار عمل درآمد کی ضرورت تھی۔ اختتامی مقامات کو بھی دستی طور پر تعینات کرنا پڑا۔

Earth.com کے پاس اندرون ملک ML انجینئرنگ ٹیم نہیں تھی، جس کی وجہ سے نئی پرجاتیوں کو نمایاں کرنے والے نئے ڈیٹاسیٹس کو شامل کرنا، نئے ماڈلز کو جاری کرنا اور ان میں بہتری لانا، اور اپنے منقطع ML سسٹم کو پیمانہ بنانا مشکل ہو گیا۔

ڈیٹا کے ادخال، پری پروسیسنگ، اور ماڈل ٹریننگ کے لیے ML اجزاء غیر منسلک Python اسکرپٹس اور نوٹ بک کے طور پر دستیاب تھے، جس کے لیے انجینئرز کی جانب سے بہت زیادہ دستی ہیوی لفٹنگ کی ضرورت تھی۔

ابتدائی حل میں نئے ماڈلز کو تیزی سے اور مؤثر طریقے سے جاری کرنے کے لیے ایک تکنیکی تیسرے فریق کی مدد کی بھی ضرورت تھی۔

حل کی پہلی تکرار

Provectus نے Earth.com کے لیے ایک قابل قدر ساتھی کے طور پر کام کیا، جس نے EarthSnap کی AI سے چلنے والی تصویر کی شناخت کی خصوصیات کو بڑھانے میں اہم کردار ادا کیا۔ ایپلیکیشن کے ورک فلو کو اینڈ ٹو اینڈ ایم ایل پائپ لائنوں کو لاگو کرکے خودکار کیا گیا تھا، جو پروویکٹس کے حصے کے طور پر فراہم کیے گئے تھے۔ منظم MLOps پلیٹ فارم اور کے ذریعے حمایت کی منظم AI خدمات.

پروجیکٹ ڈسکوری سیشنز کا ایک سلسلہ Provectus کے ذریعے شروع کیا گیا تاکہ EarthSnap کے موجودہ کوڈبیس اور نوٹ بک اسکرپٹ کی انوینٹری کی جانچ کی جا سکے، جس کا مقصد موجودہ ماڈل کے نتائج کو دوبارہ پیش کرنا تھا۔ ماڈل کے نتائج بحال ہونے کے بعد، ML ورک فلو کے بکھرے ہوئے اجزاء کو Amazon SageMaker Pipelines کا استعمال کرتے ہوئے ایک خودکار ML پائپ لائن میں ضم کر دیا گیا، جو ML کے لیے ایک مقصد سے تیار کردہ CI/CD سروس ہے۔

حتمی پائپ لائن میں مندرجہ ذیل اجزاء شامل ہیں:

  • ڈیٹا کیو اے اور ورژننگ - یہ مرحلہ SageMaker پروسیسنگ جاب کے طور پر چلتا ہے، Amazon Simple Storage Service (Amazon S3) سے ماخذ ڈیٹا کو ہضم کرتا ہے اور اگلے مرحلے کے لیے میٹا ڈیٹا تیار کرتا ہے، جس میں صرف درست تصاویر (URI اور لیبل) ہوتی ہیں جنہیں فلٹر کیا جاتا ہے۔ اندرونی قوانین. یہ Amazon S3 پر ایک مینی فیسٹ فائل بھی برقرار رکھتا ہے، جس میں اس ڈیٹاسیٹ ورژن کو دوبارہ بنانے کے لیے تمام ضروری معلومات بھی شامل ہیں۔
  • ڈیٹا پری پروسیسنگ - اس میں سیج میکر پروسیسنگ جابز کے طور پر لپیٹے ہوئے متعدد اقدامات شامل ہیں، اور ترتیب وار چلتے ہیں۔ یہ مراحل تصاویر کو پہلے سے تیار کرتے ہیں، انہیں RecordIO فارمیٹ میں تبدیل کرتے ہیں، تصاویر کو ڈیٹا سیٹس (مکمل، ٹرین، ٹیسٹ اور توثیق) میں تقسیم کرتے ہیں، اور سیج میکر ٹریننگ جابز کے ذریعے استعمال کرنے کے لیے تصاویر تیار کرتے ہیں۔
  • ہائپر پیرامیٹر ٹیوننگ - ایک سیج میکر ہائپر پیرامیٹر ٹیوننگ جاب ٹریننگ اور توثیق کے سیٹ کے ایک ذیلی سیٹ کو ان پٹ کے طور پر لیتی ہے اور مکمل تربیتی جاب کے لیے بہترین پیرامیٹرز کا تعین کرنے کے لیے چھوٹے تربیتی جابز کا ایک سلسلہ چلاتی ہے۔
  • مکمل تربیت - ایک قدم سیج میکر ٹریننگ جاب پورے ڈیٹا پر ٹریننگ جاب کا آغاز کرتا ہے، ہائپر پیرامیٹر ٹیوننگ سٹیپ کے بہترین پیرامیٹرز کو دیکھتے ہوئے۔
  • ماڈل کی تشخیص - حتمی ماڈل کی تربیت کے بعد ایک قدم SageMaker پروسیسنگ کا کام چلایا جاتا ہے۔ یہ مرحلہ ماڈل کے میٹرکس پر مشتمل ایک توسیعی رپورٹ تیار کرتا ہے۔
  • ماڈل کی تخلیق - سیج میکر ماڈل کریٹ مرحلہ ماڈل کو سیج میکر ماڈل پیکیج میں لپیٹتا ہے اور اسے سیج میکر ماڈل رجسٹری میں دھکیل دیتا ہے۔

پائپ لائن چلانے کے بعد تمام مراحل خودکار طریقے سے چلائے جاتے ہیں۔ پائپ لائن کو درج ذیل طریقوں میں سے کسی کے ذریعے چلایا جا سکتا ہے:

  • AWS CodeBuild کو خودکار طور پر استعمال کرتے ہوئے، نئی تبدیلیوں کو پرائمری برانچ میں دھکیلنے کے بعد اور پائپ لائن کا ایک نیا ورژن اوپر کرنے کے بعد (CI)
  • ایمیزون API گیٹ وے کو خودکار طور پر استعمال کرنا، جسے ایک مخصوص API کال کے ساتھ متحرک کیا جا سکتا ہے۔
  • ایمیزون سیج میکر اسٹوڈیو میں دستی طور پر

پائپ لائن چلانے کے بعد (پچھلے طریقوں میں سے ایک کا استعمال کرتے ہوئے شروع کیا گیا)، ایک تربیت یافتہ ماڈل تیار کیا جاتا ہے جو سیج میکر اینڈ پوائنٹ کے طور پر تعینات کرنے کے لیے تیار ہوتا ہے۔ اس کا مطلب یہ ہے کہ ماڈل کو پہلے PM یا انجینئر کے ذریعہ ماڈل رجسٹری میں منظور کیا جانا چاہئے، پھر ماڈل خود بخود Amazon EventBridge کا استعمال کرتے ہوئے اسٹیج کے ماحول میں رول آؤٹ ہو جاتا ہے اور اندرونی طور پر جانچا جاتا ہے۔ ماڈل کے توقع کے مطابق کام کرنے کی تصدیق ہونے کے بعد، اسے پیداواری ماحول (CD) میں تعینات کر دیا جاتا ہے۔

EarthSnap کے لیے Provectus حل کا خلاصہ درج ذیل مراحل میں کیا جا سکتا ہے:

  • Earth.com کے لیے نئے ماڈلز جاری کرنا آسان بنانے کے لیے مکمل طور پر خودکار، اینڈ ٹو اینڈ ایم ایل پائپ لائنز کے ساتھ شروع کریں۔
  • MLOps پلیٹ فارم کے لیے ایک مضبوط ML انفراسٹرکچر فراہم کرنے کے لیے پائپ لائنوں کے اوپر تعمیر کریں، جس میں AI/ML کو ہموار کرنے کے لیے تمام اجزاء شامل ہوں
  • فراہم کرکے حل کی حمایت کریں۔ منظم AI خدمات (بشمول ML انفراسٹرکچر کی فراہمی، دیکھ بھال، اور لاگت کی نگرانی اور اصلاح)
  • AI/ML کام، ڈیٹا اور ڈیٹا بیس آپریشنز، اور DevOps سمیت مصروفیات کی ایک سیریز کے ذریعے EarthSnap کو اس کی مطلوبہ حالت (موبائل ایپلیکیشن اور بیک اینڈ) پر لائیں

بنیادی ڈھانچے اور عمل کے قائم ہونے کے بعد، ماڈل کو ایک بڑے ڈیٹاسیٹ پر تربیت اور دوبارہ تربیت دی گئی۔ اس مقام پر، تاہم، ٹیم کو اس سے بھی بڑے ڈیٹاسیٹس کے ساتھ ماڈل کو بڑھانے کی کوشش کرتے وقت ایک اضافی مسئلہ کا سامنا کرنا پڑا۔ ہمیں حل کے فن تعمیر کی تشکیل نو کے لیے ایک طریقہ تلاش کرنے کی ضرورت تھی، جس سے یہ زیادہ نفیس اور مؤثر طریقے سے اسکیلنگ کے قابل ہو۔ مندرجہ ذیل خاکہ EarthSnap AI/ML فن تعمیر کو ظاہر کرتا ہے۔

EarthSnap کے لیے AI/ML فن تعمیر AWS خدمات کی ایک سیریز کے ارد گرد ڈیزائن کیا گیا ہے:

  • سیج میکر پائپ لائن اوپر بیان کردہ طریقوں میں سے ایک کا استعمال کرتے ہوئے چلتی ہے (کوڈ بلڈ، API، مینوئل) جو ماڈل کو تربیت دیتی ہے اور نمونے اور میٹرکس تیار کرتی ہے۔ نتیجے کے طور پر، ماڈل کے نئے ورژن کو سیج میکر ماڈل رجسٹری میں دھکیل دیا گیا ہے۔
  • پھر ماڈل رجسٹری میں داخلی ٹیم (پی ایم/انجینئر) کے ذریعہ ماڈل کا جائزہ لیا جاتا ہے اور فراہم کردہ میٹرکس کی بنیاد پر منظور/مسترد کیا جاتا ہے۔
  • ماڈل کی منظوری کے بعد، ماڈل ورژن خود بخود اسٹیج کے ماحول میں Amazon EventBridge کا استعمال کرتے ہوئے تعینات ہو جاتا ہے جو ماڈل کی حیثیت کی تبدیلی کو ٹریک کرتا ہے۔
  • ماڈل کو پیداواری ماحول میں تعینات کیا جاتا ہے اگر ماڈل اسٹیج کے ماحول میں تمام ٹیسٹ پاس کرتا ہے۔

حتمی حل

لیبل کے تمام ضروری سیٹوں کو ایڈجسٹ کرنے کے لیے، EarthSnap کے ماڈل کے حل میں خاطر خواہ ترامیم کی ضرورت تھی، کیونکہ ایک ماڈل کے اندر تمام پرجاتیوں کو شامل کرنا مہنگا اور ناکارہ ثابت ہوا۔ عمل درآمد کے لیے پہلے پلانٹ کے زمرے کا انتخاب کیا گیا۔

مشترکہ اندرونی خصوصیات کی بنیاد پر اسے ذیلی سیٹوں میں ترتیب دینے کے لیے پلانٹ کے ڈیٹا کی مکمل جانچ کی گئی۔ پلانٹ ماڈل کے حل کو ملٹی ماڈل پیرنٹ/چائلڈ آرکیٹیکچر کو لاگو کرکے دوبارہ ڈیزائن کیا گیا تھا۔ یہ پلانٹ ڈیٹا کے گروپ شدہ ذیلی سیٹوں پر بچوں کے ماڈلز کی تربیت اور ہر ذیلی زمرہ سے ڈیٹا کے نمونوں کے ایک سیٹ پر والدین کے ماڈل کو تربیت دے کر حاصل کیا گیا۔ چائلڈ ماڈلز کو اندرونی طور پر گروپ کردہ پرجاتیوں کے اندر درست درجہ بندی کے لیے استعمال کیا گیا تھا، جبکہ پیرنٹ ماڈل کو ان پٹ پلانٹ کی تصاویر کو ذیلی گروپوں میں درجہ بندی کرنے کے لیے استعمال کیا گیا تھا۔ اس ڈیزائن نے ہر ماڈل کے لیے الگ الگ تربیتی عمل کی ضرورت پیش کی، جس کے نتیجے میں علیحدہ ایم ایل پائپ لائنز کی تخلیق ہوئی۔ اس نئے ڈیزائن کے ساتھ، پہلے سے قائم کردہ ML/MLOps فاؤنڈیشن کے ساتھ، EarthSnap ایپلی کیشن تمام ضروری پودوں کی انواع کو گھیرنے کے قابل تھی، جس کے نتیجے میں ماڈل کی دیکھ بھال اور دوبارہ تربیت سے متعلق کارکردگی میں بہتری آئی۔ مندرجہ ذیل خاکہ والدین/بچے کے ماڈل تعلقات کی منطقی اسکیم کو واضح کرتا ہے۔

دوبارہ ڈیزائن مکمل کرنے پر، حتمی چیلنج اس بات کی ضمانت دینا تھا کہ EarthSnap کو طاقت دینے والا AI سلوشن ایک وسیع صارف کی بنیاد سے پیدا ہونے والے کافی بوجھ کا انتظام کر سکتا ہے۔ خوش قسمتی سے، منظم AI آن بورڈنگ کے عمل میں تمام ضروری آٹومیشن، مانیٹرنگ، اور حل کو پروڈکشن کے لیے تیار حالت میں منتقل کرنے کے طریقہ کار شامل ہیں، جس سے مزید سرمایہ کاری کی ضرورت ختم ہو جاتی ہے۔

نتائج کی نمائش

EarthSnap کی AI سے چلنے والی تصویر کی شناخت کی خصوصیات کو چند مہینوں کے اندر تیار کرنے اور لاگو کرنے کی سخت ضرورت کے باوجود، Provectus نے مقررہ وقت کے اندر تمام پروجیکٹ کی ضروریات کو پورا کیا۔ صرف 3 مہینوں میں، Provectus نے EarthSnap کے لیے ML حل کو جدید اور تیار کیا، اس بات کو یقینی بناتے ہوئے کہ ان کی موبائل ایپلیکیشن عوامی ریلیز کے لیے تیار ہے۔

ML اور MLOps کے جدید انفراسٹرکچر نے Earth.com کو انجینئرنگ ہیوی لفٹنگ کو کم کرنے اور EarthSnap کی دیکھ بھال اور مدد سے منسلک انتظامی اخراجات کو کم کرنے کی اجازت دی۔ عمل کو ہموار کرنے اور CI/CD اور DevOps کے لیے بہترین طریقوں کو نافذ کرنے کے ذریعے، Provectus نے اس بات کو یقینی بنایا کہ EarthSnap اپنی موافقت، لچک اور سیکیورٹی کو بہتر بناتے ہوئے بہتر کارکردگی حاصل کر سکتا ہے۔ جدت اور کارکردگی پر توجہ کے ساتھ، ہم نے EarthSnap کو بے عیب طریقے سے کام کرنے کے قابل بنایا، جبکہ تمام صارفین کے لیے ہموار اور صارف دوست تجربہ فراہم کیا۔

اپنی منظم AI خدمات کے حصے کے طور پر، Provectus بنیادی ڈھانچے کے انتظام کے اوور ہیڈ کو کم کرنے، اچھی طرح سے طے شدہ SLAs اور عمل کو قائم کرنے، 24/7 کوریج اور سپورٹ کو یقینی بنانے، اور مجموعی بنیادی ڈھانچے کے استحکام کو بڑھانے میں کامیاب رہا، بشمول پیداواری کام کا بوجھ اور اہم ریلیز۔ ہم نے منظم MLOps پلیٹ فارم کی فراہمی اور ML انجینئرنگ کو بڑھانے کے لیے اضافہ کا ایک سلسلہ شروع کیا۔ خاص طور پر، اب AI سے چلنے والی امیج ریکگنیشن ایپلی کیشن کے لیے نئے ایم ایل ماڈلز جاری کرنے میں، کئی دنوں کے بجائے، Earth.com کے منٹ لگتے ہیں۔

Provectus کی مدد سے، Earth.com اپنی EarthSnap ایپلیکیشن کو ایپل اسٹور اور پلے اسٹور پر شیڈول سے پہلے جاری کرنے میں کامیاب رہا۔ ابتدائی ریلیز نے کلائنٹ کے لیے پرویکٹس کے جامع کام کی اہمیت کو ظاہر کیا۔

”میں Provectus کے ساتھ کام کرنے کے لیے ناقابل یقین حد تک پرجوش ہوں۔ الفاظ بیان نہیں کر سکتے کہ میں کاروبار کے تکنیکی پہلو کا کنٹرول Provectus کے حوالے کرنے کے بارے میں کتنا اچھا محسوس کرتا ہوں۔ یہ جان کر ایک بہت بڑی راحت ہے کہ مجھے کاروباری پہلو کو ترقی دینے کے علاوہ کسی اور چیز کے بارے میں فکر کرنے کی ضرورت نہیں ہے۔

– Eric Ralls، EarthSnap کے بانی اور CEO۔

ہمارے تعاون کے اگلے مراحل میں شامل ہوں گے: پائپ لائنوں میں جدید نگرانی کے اجزاء شامل کرنا، ماڈل کی دوبارہ تربیت کو بڑھانا، اور انسان کے اندر ایک قدم متعارف کروانا۔

نتیجہ

Provectus ٹیم کو امید ہے کہ Earth.com ہمارے ساتھ EarthSnap کو جدید بنانا جاری رکھے گا۔ ہم کمپنی کی مستقبل میں توسیع، قدرتی مظاہر کو مزید مقبول بنانے، اور اپنے سیارے کی حفاظت کے لیے اپنا کردار ادا کرنے کے منتظر ہیں۔

Provectus ML انفراسٹرکچر اور MLOps کے بارے میں مزید جاننے کے لیے، مشین لرننگ انفراسٹرکچر پر جائیں اور دیکھیں webinar مزید عملی مشورے کے لیے۔ آپ مینیجڈ AI سروسز پر پرویکٹس مینیجڈ AI سروسز کے بارے میں مزید جان سکتے ہیں۔

اگر آپ اپنی تنظیم میں ML اور MLOps کے لیے ایک مضبوط انفراسٹرکچر بنانے میں دلچسپی رکھتے ہیں، تو اس کے لیے درخواست دیں ایم ایل ایکسلریشن پروگرام شروع کرنے کے لئے.

پرویکٹس ہیلتھ کیئر اور لائف سائنسز، ریٹیل اور سی پی جی، میڈیا اور تفریح، اور مینوفیکچرنگ میں کمپنیوں کو AI کے ذریعے اپنے مقاصد حاصل کرنے میں مدد کرتا ہے۔

Provectus AWS مشین لرننگ کمپیٹینسی پارٹنر ہے اور اے آئی فرسٹ ٹرانسفارمیشن کنسلٹنسی اور حل فراہم کرنے والا ہے جو AWS پر ڈیزائن، آرکیٹیکٹ، ہجرت، یا کلاؤڈ مقامی ایپلی کیشنز بنانے میں مدد کرتا ہے۔

Provectus سے رابطہ کریں۔ | پارٹنر کا جائزہ


مصنفین کے بارے میں

مارات ادائیف Provectus میں ML Solutions آرکیٹیکٹ ہے۔
دمتری ایوسٹیوخن Provectus میں مینیجڈ سروسز کے ڈائریکٹر ہیں۔
جیمز برڈن AWS میں ایک سینئر اسٹارٹ اپس سلوشنز آرکیٹیکٹ ہیں۔

اسپاٹ_مگ

تازہ ترین انٹیلی جنس

اسپاٹ_مگ