یہ ایک کسٹمر پوسٹ ہے جو مشترکہ طور پر ICL اور AWS ملازمین کے ذریعہ تحریر کی گئی ہے۔
ICL اسرائیل میں قائم ایک ملٹی نیشنل مینوفیکچرنگ اور کان کنی کارپوریشن ہے جو منفرد معدنیات پر مبنی مصنوعات تیار کرتی ہے اور بنیادی طور پر تین منڈیوں میں انسانیت کی ضروری ضروریات کو پورا کرتی ہے: زراعت، خوراک، اور انجینئرڈ مواد۔ ان کی کان کنی کی جگہیں صنعتی آلات استعمال کرتی ہیں جن کی نگرانی کی جانی ہوتی ہے کیونکہ مشینری کی ناکامی کے نتیجے میں آمدنی میں کمی یا ماحولیاتی نقصانات بھی ہو سکتے ہیں۔ انتہائی سخت حالات (کم اور زیادہ درجہ حرارت، کمپن، نمکین پانی، دھول) کی وجہ سے دور دراز سے نگرانی کے لیے ان کان کنی مشینوں میں سینسر لگانا مشکل ہے۔ لہذا، زیادہ تر مشینوں کی دستی طور پر یا بصری طور پر سائٹ پر موجود کارکنوں کے ذریعے مسلسل نگرانی کی جاتی ہے۔ یہ کارکن مشین کی حالت کی نگرانی کے لیے اکثر کیمرے کی تصاویر چیک کرتے ہیں۔ اگرچہ اس نقطہ نظر نے ماضی میں کام کیا ہے، لیکن اس کی پیمائش نہیں ہوتی ہے اور نسبتاً زیادہ لاگت آتی ہے۔
اس کاروباری چیلنج پر قابو پانے کے لیے، ICL نے مشین لرننگ (ML) کو کمپیوٹر وژن (CV) کے لیے استعمال کرنے کے لیے اندرون ملک صلاحیتوں کو تیار کرنے کا فیصلہ کیا تاکہ ان کی کان کنی کی مشینوں کی خود بخود نگرانی کی جا سکے۔ ایک روایتی کان کنی کمپنی کے طور پر، ڈیٹا سائنس، CV، یا ML مہارتوں کے ساتھ اندرونی وسائل کی دستیابی محدود تھی۔
اس پوسٹ میں، ہم مندرجہ ذیل پر بات کرتے ہیں:
- کس طرح آئی سی ایل نے سی وی سلوشنز بنانے اور برقرار رکھنے کے لیے اندرون ملک صلاحیتیں تیار کیں جو کارکردگی کو بہتر بنانے اور فضلہ کو کم کرنے کے لیے کان کنی کے آلات کی خودکار نگرانی کی اجازت دیتی ہیں۔
- کان کنی اسکرینرز کے حل میں ایک گہرا غوطہ جو AWS پروٹو ٹائپنگ پروگرام کے تعاون سے تیار کیا گیا تھا۔
اس پوسٹ میں بیان کردہ نقطہ نظر کا استعمال کرتے ہوئے، ICL AWS کا استعمال کرتے ہوئے ایک فریم ورک تیار کرنے میں کامیاب رہا۔ ایمیزون سیج میکر تقریباً 30 کیمروں سے نکالے گئے وژن کی بنیاد پر استعمال کے دیگر کیسز بنانے کے لیے، ان کی پروڈکشن سائٹس پر ایسے ہزاروں کیمروں کو سکیل کرنے کی صلاحیت کے ساتھ۔
AWS پروٹو ٹائپنگ کے ذریعے اندرون ملک صلاحیتیں بنانا
کاروباری اہم کام کے بوجھ کے لیے ML حل بنانے اور برقرار رکھنے کے لیے کافی ہنر مند عملے کی ضرورت ہوتی ہے۔ اس طرح کی سرگرمیوں کو آؤٹ سورس کرنا اکثر ممکن نہیں ہوتا ہے کیونکہ کاروباری عمل کے بارے میں اندرونی معلومات کو تکنیکی حل کی تعمیر کے ساتھ جوڑنے کی ضرورت ہوتی ہے۔ لہذا، آئی سی ایل نے اپنے کان کنی کے آلات کی نگرانی اور ضروری مہارت حاصل کرنے کے لیے سی وی حل بنانے کے لیے اپنے سفر میں مدد کے لیے AWS سے رابطہ کیا۔
AWS پروٹوٹائپنگ ایک سرمایہ کاری کا پروگرام ہے جہاں AWS ماہرین کو کسٹمر ڈیولپمنٹ ٹیموں میں شامل کرتا ہے تاکہ مشن کے اہم استعمال کے معاملات کی تعمیر کی جا سکے۔ اس طرح کی مصروفیت کے دوران، کسٹمر ڈیولپمنٹ ٹیم کو بنیادی AWS ٹیکنالوجیز پر فعال کیا جاتا ہے جبکہ 3-6 ہفتوں کے دوران استعمال کا کیس تیار کیا جاتا ہے اور ہینڈ آن مدد ملتی ہے۔ متعلقہ استعمال کے کیس کے علاوہ، تمام گاہک کی ضروریات 3-7 ڈویلپرز ہیں جو اپنے کام کے 80% سے زیادہ وقت کو مذکورہ استعمال کیس کی تعمیر میں صرف کر سکتے ہیں۔ اس وقت کے دوران، AWS ماہرین کو مکمل طور پر کسٹمر کی ٹیم کو تفویض کیا جاتا ہے اور وہ ان کے ساتھ دور سے یا سائٹ پر تعاون کرتے ہیں۔
آئی سی ایل کا کمپیوٹر ویژن استعمال کیس
پروٹو ٹائپنگ مصروفیت کے لیے، آئی سی ایل نے اپنے کان کنی اسکرینرز کی نگرانی کے لیے استعمال کا کیس منتخب کیا۔ اسکرینر ایک بڑی صنعتی کان کنی کی مشین ہے جہاں پانی میں تحلیل ہونے والی معدنیات پر کارروائی کی جاتی ہے۔ پانی مشین کے اوپر سے نیچے تک کئی گلیوں میں بہتا ہے۔ ہر ایک لین کے لیے انفرادی طور پر آمد کی نگرانی کی جاتی ہے۔ جب آمد لین سے باہر ہو جاتی ہے، تو اسے اوور فلو کہا جاتا ہے، جو اس بات کی نشاندہی کرتا ہے کہ مشین اوورلوڈ ہے۔ بہہ جانے والی آمد معدنیات ہیں جن پر اسکرینر کے ذریعہ کارروائی نہیں کی جاتی ہے اور وہ ضائع ہوجاتے ہیں۔ آمد کو منظم کرتے ہوئے اس سے بچنے کی ضرورت ہے۔ ایم ایل حل کے بغیر، اوور فلو کو انسانوں کے ذریعہ مانیٹر کرنے کی ضرورت ہے اور اس میں ممکنہ طور پر وقت لگتا ہے جب تک کہ اوور فلو کا مشاہدہ اور اسے سنبھالا نہ جائے۔
درج ذیل تصاویر CV ماڈلز کے ان پٹ اور آؤٹ پٹس کو دکھاتی ہیں۔ خام کیمرے کی تصویر (بائیں) کو مختلف لین کا پتہ لگانے کے لیے سیمنٹک سیگمنٹیشن ماڈل (درمیانی) کا استعمال کرتے ہوئے پروسیس کیا جاتا ہے۔ پھر ماڈل (دائیں) کوریج (سفید) اور اوور فلو (سرخ) کا تخمینہ لگاتا ہے۔
اگرچہ پروٹو ٹائپنگ کی مصروفیت صرف ایک قسم کی مشین پر مرکوز تھی، لیکن CV استعمال کرتے ہوئے کیمرے استعمال کرنے اور خود بخود ان کی تصاویر پر کارروائی کرنے کا عمومی طریقہ کان کنی کے آلات کی وسیع رینج پر لاگو ہوتا ہے۔ یہ آئی سی ایل کو دوسرے مقامات، کیمرہ کی اقسام اور مشینوں کے لیے پروٹو ٹائپنگ کے دوران حاصل ہونے والی معلومات کو بڑھانے کی اجازت دیتا ہے، اور کسی تیسرے فریق کی مدد کی ضرورت کے بغیر ایم ایل ماڈلز کو برقرار رکھنے کی اجازت دیتا ہے۔
مصروفیت کے دوران، AWS ماہرین اور ICL ترقیاتی ٹیم ہر روز ملاقات کریں گے اور مرحلہ وار حل کو کوڈ تیار کریں گے۔ ICL ڈیٹا سائنسدان یا تو اپنے تفویض کردہ کاموں پر آزادانہ طور پر کام کریں گے یا AWS ML ماہرین سے ہینڈ آن، جوڑی پروگرامنگ سپورٹ حاصل کریں گے۔ یہ نقطہ نظر اس بات کو یقینی بناتا ہے کہ ICL ڈیٹا سائنسدانوں نے نہ صرف سیج میکر کا استعمال کرتے ہوئے ایم ایل ماڈلز کو منظم طریقے سے تیار کرنے کا تجربہ حاصل کیا ہے، بلکہ ان ماڈلز کو ایپلی کیشنز میں شامل کرنے کے ساتھ ساتھ ایسے ماڈلز کے پورے لائف سائیکل کو خودکار بنانے کے لیے، بشمول خودکار ری ٹریننگ یا ماڈل مانیٹرنگ۔ اس تعاون کے 4 ہفتوں کے بعد، ICL اس ماڈل کو 8 ہفتوں کے اندر مزید مدد کی ضرورت کے بغیر پیداوار میں منتقل کرنے میں کامیاب ہو گیا، اور اس کے بعد سے دیگر استعمال کے معاملات کے لیے ماڈلز بنائے ہیں۔ اس مصروفیت کا تکنیکی نقطہ نظر اگلے حصے میں بیان کیا گیا ہے۔
سیج میکر کے ساتھ سی وی ماڈلز کا استعمال کرتے ہوئے مائننگ اسکرینرز کی نگرانی کرنا
سیج میکر ایک مکمل طور پر منظم پلیٹ فارم ہے جو ایم ایل ماڈل کے مکمل لائف سائیکل کو ایڈریس کرتا ہے: یہ ایسی خدمات اور خصوصیات فراہم کرتا ہے جو ایم ایل ماڈلز پر کام کرنے والی ٹیموں کو اپنے ڈیٹا پر لیبل لگانے میں مدد کرتی ہے۔ ایمیزون سیج میکر گراؤنڈ ٹروتھ ماڈل کی تربیت اور اصلاح کے ساتھ ساتھ پیداواری استعمال کے لیے ML ماڈلز کی میزبانی کرنا۔ منگنی سے پہلے، آئی سی ایل نے کیمرے نصب کیے تھے اور پچھلی تصاویر (بائیں طرف کی تصویر) میں دکھائی گئی تصاویر حاصل کی تھیں اور انہیں ایک میں محفوظ کر لیا تھا۔ ایمیزون سادہ اسٹوریج سروس (ایمیزون S3) بالٹی۔ ماڈلز کو تربیت دینے سے پہلے، تربیتی ڈیٹا تیار کرنا ضروری ہے۔ مشترکہ ICL-AWS ٹیم نے اسے تین مراحل میں حل کیا:
- اے کا استعمال کرتے ہوئے ڈیٹا کو لیبل کریں۔ سیمنٹک سیگمنٹیشن لیبلنگ کا کام سیج میکر گراؤنڈ ٹروتھ میں، جیسا کہ درج ذیل تصویر میں دکھایا گیا ہے۔
- اعداد و شمار کے نمونوں کی تعداد بڑھانے کے لیے امیج بڑھانے کی تکنیک کا استعمال کرتے ہوئے لیبل لگائی گئی تصاویر پر پہلے سے عمل کریں۔
- لیبل لگائی گئی تصاویر کو تربیت، ٹیسٹ اور توثیق کے سیٹوں میں تقسیم کریں، تاکہ ٹریننگ کے عمل کے دوران ماڈل کی کارکردگی اور درستگی کو مناسب طریقے سے ناپا جا سکے۔
ایم ایل ورک بوجھ کے لیے پیداواری پیمانے کو حاصل کرنے کے لیے، تربیتی ان پٹ کے معیار کو برقرار رکھنے کے لیے ان اقدامات کو خودکار کرنا بہت ضروری ہے۔ لہذا، جب بھی سیج میکر گراؤنڈ ٹروتھ کا استعمال کرتے ہوئے نئی تصاویر کا لیبل لگایا جاتا ہے، پری پروسیسنگ اور اسپلٹنگ کے مراحل خود بخود چلائے جاتے ہیں اور نتیجے میں ڈیٹا سیٹس کو Amazon S3 میں محفوظ کیا جاتا ہے، جیسا کہ مندرجہ ذیل خاکہ میں ماڈل ٹریننگ ورک فلو کو دکھایا گیا ہے۔ اسی طرح، ماڈل کی تعیناتی کا ورک فلو SageMaker کے اثاثوں کا استعمال کرتا ہے تاکہ اینڈ پوائنٹس کو خود بخود اپ ڈیٹ کیا جا سکے۔
آئی سی ایل ایم ایل ماڈلز کو پروڈکشن میں لاگو کرنے کے لیے کئی طریقے استعمال کر رہا ہے۔ کچھ ان کے موجودہ AI پلیٹ فارم کو شامل کرتے ہیں جسے KNIME کہا جاتا ہے، جو انہیں ترقی کے ماحول میں تیار کردہ ماڈلز کو مصنوعات میں صنعتی بنا کر تیزی سے پیداوار میں تعینات کرنے کی اجازت دیتا ہے۔ KNIME اور AWS خدمات کے استعمال کے متعدد مجموعوں کا تجزیہ کیا گیا۔ پچھلا فن تعمیر ICL کے ماحول کے لیے سب سے موزوں تھا۔
۔ سیج میکر سیمنٹک سیگمنٹیشن بلٹ ان الگورتھم اسکرینر گرڈ ایریا سیگمنٹیشن کے لیے ماڈلز کو تربیت دینے کے لیے استعمال کیا جاتا ہے۔ اس بلٹ ان الگورتھم کو منتخب کرکے a خود ساختہ کنٹینر, ICL کو Convolutional Neural Network (CNN) کو برقرار رکھنے کے لیے غیر متفرق ہیوی لفٹنگ سے نمٹنے کی ضرورت نہیں ہے جب کہ وہ اپنے استعمال کے معاملے کے لیے ایسے CNN کو استعمال کرنے کے قابل ہے۔ مختلف کنفیگریشنز اور پیرامیٹرز کے ساتھ تجربہ کرنے کے بعد، آئی سی ایل نے ایک مکمل کنولوشنل نیٹ ورک (FCN) الگورتھم کا استعمال کیا اہرام منظر پارسنگ نیٹ ورک (PSPNet) ماڈل کو تربیت دینے کے لیے۔ اس نے آئی سی ایل کو پروٹو ٹائپنگ مصروفیت کے 1 ہفتے کے اندر ماڈل بلڈنگ کو حتمی شکل دینے کی اجازت دی۔
ایک ماڈل کو تربیت دینے کے بعد، اسے اسکرینر کی نگرانی کے لیے قابل استعمال بنانے کے لیے تعینات کرنا ہوگا۔ ماڈل ٹریننگ کے مطابق، یہ عمل مکمل طور پر خودکار اور اس کا استعمال کرتے ہوئے ترتیب دیا گیا ہے۔ AWS اسٹیپ فنکشنز اور او ڈبلیو ایس لامبڈا۔. SageMaker اینڈ پوائنٹ پر ماڈل کے کامیابی کے ساتھ تعینات ہونے کے بعد، کیمروں سے آنے والی تصاویر کو ماڈل کے ان پٹ فارمیٹ میں فٹ کرنے کے لیے سائز تبدیل کیا جاتا ہے اور پھر Lambda فنکشنز کا استعمال کرتے ہوئے پیشین گوئیوں کے لیے اینڈ پوائنٹ میں فیڈ کیا جاتا ہے۔ سیمنٹک سیگمنٹیشن کی پیشن گوئی کے ساتھ ساتھ اوور فلو کا پتہ لگانے کا نتیجہ پھر اس میں محفوظ کیا جاتا ہے۔ ایمیزون ڈائنومو ڈی بی اور ڈاؤن اسٹریم تجزیہ کے لیے ایمیزون S3۔ اگر اوور فلو کا پتہ چلا، ایمیزون سادہ نوٹیفکیشن سروس (Amazon SNS) یا Lambda فنکشنز کا استعمال خود بخود اوور فلو کو کم کرنے اور متاثرہ اسکرینر پر متعلقہ لین کو کنٹرول کرنے کے لیے کیا جا سکتا ہے۔ مندرجہ ذیل خاکہ اس فن تعمیر کو واضح کرتا ہے۔
نتیجہ
اس پوسٹ میں بتایا گیا ہے کہ کس طرح ایک اسرائیلی کان کنی کمپنی ICL نے کیمروں کا استعمال کرتے ہوئے کان کنی کے آلات کی خودکار نگرانی کے لیے اپنا کمپیوٹر ویژن اپروچ تیار کیا۔ ہم نے سب سے پہلے یہ دکھایا کہ اس طرح کے چیلنج کو تنظیمی نقطہ نظر سے کیسے نمٹا جائے جو فعال کرنے پر مرکوز ہے، پھر ہم نے AWS کا استعمال کرتے ہوئے اس ماڈل کو کس طرح بنایا گیا اس پر تفصیلی نظر ڈالی۔ اگرچہ نگرانی کا چیلنج ICL کے لیے منفرد ہو سکتا ہے، لیکن AWS ماہرین کے ساتھ مل کر پروٹو ٹائپ بنانے کا عمومی طریقہ اسی طرح کے چیلنجز پر لاگو کیا جا سکتا ہے، خاص طور پر ان تنظیموں کے لیے جن کے پاس AWS کا ضروری علم نہیں ہے۔
اگر آپ اپنے استعمال کے کیس کا پروڈکشن اسکیل پروٹو ٹائپ بنانا سیکھنا چاہتے ہیں، تو پروٹو ٹائپنگ مصروفیت پر بات کرنے کے لیے اپنی AWS اکاؤنٹ ٹیم سے رابطہ کریں۔
مصنفین کے بارے میں
مارکس بیسٹ ہورن AWS کے لیے جرمنی، آسٹریا، سوئٹزرلینڈ اور اسرائیل میں کسٹمر انجینئرنگ اور پروٹو ٹائپنگ ٹیموں کی قیادت کرتا ہے۔ اس کے پاس کمپیوٹر سائنس میں پی ایچ ڈی کی ڈگری ہے اور وہ پیچیدہ مشین لرننگ اور IoT سلوشنز بنانے میں مہارت رکھتا ہے۔
ڈیوڈ ابیکاسس کاروباری چیلنجوں کو حل کرنے میں مدد کرتے ہوئے ڈیٹا کے تجزیہ اور مشین لرننگ کے بارے میں دوسروں کو تعلیم دینے کے جذبے کے ساتھ ICL گروپ میں ڈیٹا سائنس ٹیم کی قیادت کرتا ہے۔ اس نے ڈیٹا سائنس میں ایم ایس سی اور ایم بی اے کیا ہے۔ وہ صحت سے متعلق زراعت کے ڈومین میں مقامی اور ٹائم سیریز ڈیٹا کی تحقیق کرنے کے لئے خوش قسمت تھے۔
آئن کلیوپاس ڈیٹا سائنس اور بگ ڈیٹا میں ایم ایس سی کے ساتھ ایک سینئر مشین لرننگ پروٹو ٹائپنگ آرکیٹیکٹ ہے۔ وہ AWS کے صارفین کو مشین لرننگ کے استعمال کے چیلنجوں کے لیے پروٹوٹائپس کی مشترکہ ترقی کے ذریعے AWS ٹیکنالوجیز پر اپنی تکنیکی ٹیموں کو فعال کر کے اختراعی AI/ML حل تیار کرنے میں مدد کرتا ہے، جس سے پیداوار کی راہ ہموار ہوتی ہے۔
میرون پیریل ایمیزون ویب سروسز کے ساتھ پرنسپل مشین لرننگ بزنس ڈیولپمنٹ مینیجر ہے۔ میرون جنریٹو AI کمپنیوں کو اپنے اگلے نسل کے ماڈل بنانے کا مشورہ دیتے ہیں۔
- SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
- پلیٹو ڈیٹا ڈاٹ نیٹ ورک ورٹیکل جنریٹو اے آئی۔ اپنے آپ کو بااختیار بنائیں۔ یہاں تک رسائی حاصل کریں۔
- پلیٹوآئ اسٹریم۔ ویب 3 انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
- پلیٹو ای ایس جی۔ کاربن، کلین ٹیک، توانائی ، ماحولیات، شمسی، ویسٹ مینجمنٹ یہاں تک رسائی حاصل کریں۔
- پلیٹو ہیلتھ۔ بائیوٹیک اینڈ کلینیکل ٹرائلز انٹیلی جنس۔ یہاں تک رسائی حاصل کریں۔
- ماخذ: https://aws.amazon.com/blogs/machine-learning/how-aws-prototyping-enabled-icl-group-to-build-computer-vision-models-on-amazon-sagemaker/
