یہ میشو میں راما بدری ناتھ، دیوے جندال اور اتکرش اگروال کی مشترکہ تحریر کردہ مہمان پوسٹ ہے۔
میشو ہندوستان کی سب سے تیزی سے ترقی کرنے والی ای کامرس کمپنی ہے جس کا مشن ہر ایک کے لیے انٹرنیٹ کامرس کو جمہوری بنانا اور اسے ہندوستان کے اگلے ارب صارفین تک قابل رسائی بنانا ہے۔ میشو کی بنیاد 2015 میں رکھی گئی تھی اور آج پورے ہندوستان میں خریداروں اور بیچنے والوں پر توجہ مرکوز کرتی ہے۔ میشو مارکیٹ پلیس مائیکرو، چھوٹے اور درمیانے درجے کے کاروباروں اور انفرادی کاروباری افراد کو لاکھوں صارفین تک رسائی فراہم کرتا ہے، 30 سے زائد زمروں اور 900 سے زیادہ ذیلی زمروں میں سے انتخاب، پین انڈیا لاجسٹکس، ادائیگی کی خدمات، اور کسٹمر سپورٹ کی صلاحیتوں کو مؤثر طریقے سے چلانے کے لیے۔ میشو ماحولیاتی نظام پر کاروبار۔
ایک ای کامرس پلیٹ فارم کے طور پر، Meesho کا مقصد ذاتی نوعیت کی اور متعلقہ مصنوعات کی سفارشات پیش کرکے صارف کے تجربے کو بہتر بنانا ہے۔ ہم ایک عمومی فیڈ رینک بنانا چاہتے تھے جو ہر صارف کی فیڈ میں مصنوعات کو مؤثر طریقے سے ڈسپلے کرنے کے لیے انفرادی ترجیحات اور تاریخی رویے پر غور کرے۔ اس کے ذریعے، ہم خریداری کے تجربے کو ہر گاہک کی منفرد ضروریات کے مطابق بنا کر اور ان کے پیسے کی بہترین قیمت فراہم کر کے صارف کی مشغولیت، تبادلوں کی شرحوں اور مجموعی کاروباری ترقی کو بڑھانا چاہتے تھے۔
ہم نے AWS مشین لرننگ (ML) خدمات کا استعمال کیا جیسے ایمیزون سیج میکر ایک طاقتور جنرلائزڈ فیڈ رینک (GFR) تیار کرنا۔ اس پوسٹ میں، ہم GFR کے کلیدی اجزاء پر تبادلہ خیال کرتے ہیں اور کس طرح اس ML سے چلنے والے حل نے ML لائف سائیکل کو ہموار کیا، موثر انفرا مینجمنٹ، اسکیل ایبلٹی، اور ماحولیاتی نظام کے اندر قابل اعتماد کو یقینی بنایا۔
حل جائزہ
صارفین کی فیڈز کو ذاتی بنانے کے لیے، ہم نے وسیع تاریخی ڈیٹا کا تجزیہ کیا، ان خصوصیات کی بصیرتیں نکالیں جن میں براؤزنگ پیٹرن اور دلچسپیاں شامل ہیں۔ یہ قیمتی خصوصیات درجہ بندی کے ماڈل بنانے کے لیے استعمال ہوتی ہیں۔ GFR ہر صارف کی فیڈ کو حقیقی وقت میں ذاتی بناتا ہے، مختلف عوامل جیسے کہ جغرافیہ، خریداری کے پیشگی پیٹرن، حصول کے چینلز، اور مزید کو مدنظر رکھتے ہوئے۔ متعدد تعامل پر مبنی خصوصیات کا استعمال صارف کی کسی آئٹم، آئٹم کے زمرے، یا آئٹم کی خصوصیات جیسے قیمت، درجہ بندی، یا رعایت سے تعلق حاصل کرنے کے لیے بھی کیا جاتا ہے۔
آئٹم کی سطح پر متعدد صارف-ایگنوسٹک خصوصیات اور اسکور بھی استعمال کیے جاتے ہیں۔ ان میں آئٹم کی مقبولیت کا سکور اور اسکور خریدنے کے لیے آئٹم کا رجحان شامل ہے۔ یہ تمام خصوصیات لرننگ ٹو رینک (LTR) ماڈل میں ان پٹ کے طور پر جاتی ہیں جو پروببلٹی آف پرچیز (PCVR) اور پرابیبلٹی آف پرچیز (PCVR) کو خارج کرنے کی کوشش کرتی ہے۔
متنوع اور متعلقہ سفارشات کے لیے، GFR متعدد چینلز سے امیدوار پروڈکٹس کا ذریعہ بناتا ہے، بشمول exploit (معلوم صارف کی ترجیحات)، دریافت (ناول اور ممکنہ طور پر دلچسپ پروڈکٹس)، مقبولیت (ٹریڈنگ آئٹمز) اور حالیہ (تازہ ترین اضافے)۔
درج ذیل خاکہ GFR فن تعمیر کو واضح کرتا ہے۔
فن تعمیر کو دو مختلف حصوں میں تقسیم کیا جا سکتا ہے: ماڈل ٹریننگ اور ماڈل کی تعیناتی۔ مندرجہ ذیل حصوں میں، ہم ہر ایک جز اور AWS خدمات پر مزید تفصیل سے گفتگو کرتے ہیں۔
ماڈل ٹریننگ
میشو نے استعمال کیا۔ ایمیزون ای ایم آر Apache Spark کے ساتھ ماڈل کی پیچیدگی کے لحاظ سے لاکھوں ڈیٹا پوائنٹس پر کارروائی کرنے کے لیے۔ بڑے چیلنجوں میں سے ایک تقسیم شدہ تربیت کو پیمانے پر چلانا تھا۔ ہم نے Dask کا استعمال کیا- ایک تقسیم شدہ ڈیٹا سائنس کمپیوٹنگ فریم ورک جو مقامی طور پر Python لائبریریوں کے ساتھ ضم ہوتا ہے- Amazon EMR پر پورے کلسٹر میں تربیتی ملازمتوں کی پیمائش کرنے کے لیے۔ ماڈل کی تقسیم شدہ تربیت نے تربیت کے وقت کو دنوں سے گھنٹوں تک کم کرنے میں مدد کی اور ہمیں اسپارک جابز کو موثر اور لاگت کے ساتھ شیڈول کرنے کی اجازت دی۔ ہم نے ایک آف لائن فیچر اسٹور کا استعمال ان تمام فیچر اقدار کے تاریخی ریکارڈ کو برقرار رکھنے کے لیے کیا جو ماڈل ٹریننگ کے لیے استعمال کیے جائیں گے۔ تربیت کے نمونے اس میں محفوظ کیے جاتے ہیں۔ ایمیزون سادہ اسٹوریج سروس (ایمیزون S3)، آسان رسائی اور ورژن کا انتظام فراہم کرنا۔
ہم نے ماڈل ٹریننگ کے لیے تربیت، توثیق، اور ٹیسٹ ڈیٹا سیٹس بنانے کے لیے وقت کے نمونے لینے کی حکمت عملی کا استعمال کیا۔ ہم نے ماڈل کی کارکردگی کا جائزہ لینے کے لیے مختلف میٹرکس کا ٹریک رکھا—سب سے اہم ROC منحنی خطوط کے نیچے کا رقبہ اور پریزیشن ریکال کرو کے نیچے کا رقبہ۔ ہم نے امکانی اسکورز کی پیشین گوئی کرتے ہوئے حد سے زیادہ اعتماد اور کم اعتمادی کے مسائل کو روکنے کے لیے ماڈل کی کیلیبریشن کا بھی پتہ لگایا۔
ماڈل کی تعیناتی۔
میشو نے تربیت یافتہ ماڈل کی تعیناتی کے لیے آٹو اسکیلنگ کے ساتھ سیج میکر انفرنس اینڈ پوائنٹس کا استعمال کیا۔ سیج میکر نے مختلف ایم ایل فریم ورکس کے لیے سپورٹ کے ساتھ تعیناتی میں آسانی کی پیشکش کی، جس سے ماڈلز کو کم تاخیر کے ساتھ پیش کیا جا سکتا ہے۔ اگرچہ AWS زیادہ تر استعمال کے معاملات کے لیے موزوں معیاری قیاس کی تصاویر پیش کرتا ہے، لیکن ہم نے ایک حسب ضرورت انفرنس امیج بنایا جو خاص طور پر ہماری ضروریات کو پورا کرتا ہے اور اسے آگے بڑھاتا ہے۔ ایمیزون لچکدار کنٹینر رجسٹری (ایمیزون ای سی آر)۔
ہم نے اندرون خانہ A/B ٹیسٹنگ پلیٹ فارم بنایا جس نے A/B میٹرکس کی لائیو مانیٹرنگ کی سہولت فراہم کی، جس سے ہمیں ڈیٹا پر مبنی فیصلے فوری طور پر کرنے کے قابل بنایا گیا۔ ہم نے بھی استعمال کیا۔ اے / بی ٹیسٹ سیج میکر کی خصوصیت ایک اختتامی نقطہ پر متعدد پروڈکشن ویریئنٹس کو تعینات کرنے کے لیے۔ A/B تجربات کے ذریعے، ہم نے پلیٹ فارم کی تبادلوں کی شرح میں تقریباً 3.5% اضافہ اور صارفین کی ایپ اوپن فریکوئنسی میں اضافہ دیکھا، جو اس نقطہ نظر کی تاثیر کو نمایاں کرتا ہے۔
ہم نے ماڈل کی کارکردگی کو خراب ہونے سے روکنے کے لیے ماڈل کی تعیناتی کے بعد ایک دن میں کئی بار فیچر ڈرفٹ اور پرائی ڈرفٹ جیسے مختلف بہاؤ کا ٹریک رکھا۔
ہم کیا کرتے تھے او ڈبلیو ایس لامبڈا۔ مختلف آٹومیشنز اور ٹرگرز ترتیب دینے کے لیے جو ماڈل ری ٹریننگ، اینڈ پوائنٹ اپ ڈیٹس، اور نگرانی کے عمل کے دوران درکار ہوتے ہیں۔
ماڈل کی تعیناتی کے بعد سفارشی ورک فلو اس طرح کام کرتا ہے (جیسا کہ حل آرکیٹیکچر ڈایاگرام میں بتایا گیا ہے):
- صارف کے سیاق و سباق اور تعامل کی خصوصیات کے ساتھ ان پٹ کی درخواستیں میشو کے موبائل اور ویب ایپ سے ایپلیکیشن لیئر پر موصول ہوتی ہیں۔
- ایپلیکیشن لیئر آن لائن فیچر اسٹور سے صارف کے تاریخی ڈیٹا جیسی اضافی خصوصیات حاصل کرتی ہے اور ان کو ان پٹ درخواستوں میں شامل کرتی ہے۔
- منسلک خصوصیات کو سفارشات تیار کرنے کے لیے ریئل ٹائم اینڈ پوائنٹس پر بھیجا جاتا ہے۔
- ماڈل کی پیشین گوئیاں درخواست کی پرت کو واپس بھیجی جاتی ہیں۔
- ایپلیکیشن پرت ان پیشین گوئیوں کو موبائل یا ویب ایپلیکیشن پر صارف کے فیڈز کو ذاتی بنانے کے لیے استعمال کرتی ہے۔
نتیجہ
میشو نے سیج میکر کا استعمال کرتے ہوئے ایک عمومی فیڈ رینک کو کامیابی کے ساتھ نافذ کیا، جس کے نتیجے میں ہر صارف کے لیے ان کی ترجیحات اور تاریخی رویے کی بنیاد پر انتہائی ذاتی نوعیت کی مصنوعات کی سفارشات سامنے آئیں۔ اس نقطہ نظر نے صارف کی مصروفیت کو نمایاں طور پر بہتر کیا اور اعلی تبادلوں کی شرحوں کا باعث بنی، جس سے کمپنی کی مجموعی کاروباری ترقی میں مدد ملی۔ AWS سروسز کو استعمال کرنے کے نتیجے میں، ہمارے ML لائف سائیکل رن ٹائم میں نمایاں کمی واقع ہوئی، مہینوں سے صرف ہفتوں تک، جس سے ہماری ٹیم کی کارکردگی اور پیداواریت میں اضافہ ہوا۔
اس اعلی درجے کی فیڈ رینک کے ساتھ، میشو اپنے صارفین کے لیے مزید اہمیت کا اضافہ کرتے ہوئے اور ہر ایک کے لیے ای کامرس کو جمہوری بنانے کے اپنے مشن کو پورا کرنے کے لیے موزوں خریداری کے تجربات فراہم کرنا جاری رکھے ہوئے ہے۔
کی طرف سے مسلسل تعاون اور رہنمائی کے لیے ٹیم شکر گزار ہے۔ رویندر یادومیشو میں ڈیٹا سائنس کے ڈائریکٹر، اور دیبدوت مکھرجیمیشو میں اے آئی کے سربراہ، جنہوں نے اس کامیابی کو فعال کرنے میں کلیدی کردار ادا کیا۔
سیج میکر کے بارے میں مزید جاننے کے لیے، دیکھیں ایمیزون سیج میکر ڈویلپر گائیڈ.
مصنفین کے بارے میں
اتکرش اگروال فی الحال میشو میں ایک سینئر ڈیٹا سائنٹسٹ کے طور پر کام کر رہا ہے۔ اس نے پہلے فریکٹل اینالیٹکس اور ٹریل کے ساتھ مختلف ڈومینز پر کام کیا ہے، بشمول تجویز کنندہ نظام، ٹائم سیریز، NLP، اور مزید۔ انہوں نے انڈین انسٹی ٹیوٹ آف ٹیکنالوجی کھڑگپور (IIT)، انڈیا سے ریاضی اور کمپیوٹنگ میں ماسٹر کی ڈگری حاصل کی۔
راما بدری ناتھ فی الحال میشو میں پرنسپل ڈیٹا سائنٹسٹ کے طور پر کام کر رہا ہے۔ اس نے پہلے مائیکروسافٹ اور شیئر چیٹ کے ساتھ مختلف ڈومینز پر کام کیا، بشمول تجویز کنندہ سسٹم، امیج AI، NLP، اور بہت کچھ۔ انہوں نے انڈین انسٹی ٹیوٹ آف سائنس (IISc)، انڈیا سے مشین لرننگ میں ماسٹر کی ڈگری حاصل کی۔ انہوں نے KDD اور ECIR جیسی مشہور کانفرنسوں میں مقالے بھی شائع کیے ہیں۔
دیوے جندال فی الحال میشو میں لیڈ ڈیٹا سائنٹسٹ کے طور پر کام کر رہا ہے۔ اس نے پہلے Bookmyshow کے ساتھ مختلف ڈومینز پر کام کیا، بشمول تجویز کنندہ سسٹمز اور ڈائنامک پرائسنگ۔
وینوگوپال پائی AWS میں ایک حل آرکیٹیکٹ ہے۔ وہ بنگلورو، انڈیا میں رہتا ہے، اور ڈیجیٹل مقامی صارفین کو AWS پر اپنی ایپلی کیشنز کو پیمانہ اور بہتر بنانے میں مدد کرتا ہے۔
- SEO سے چلنے والا مواد اور PR کی تقسیم۔ آج ہی بڑھا دیں۔
- پلیٹو ڈیٹا ڈاٹ نیٹ ورک ورٹیکل جنریٹو اے آئی۔ اپنے آپ کو بااختیار بنائیں۔ یہاں تک رسائی حاصل کریں۔
- پلیٹوآئ اسٹریم۔ ویب 3 انٹیلی جنس۔ علم میں اضافہ۔ یہاں تک رسائی حاصل کریں۔
- پلیٹو ای ایس جی۔ کاربن، کلین ٹیک، توانائی ، ماحولیات، شمسی، ویسٹ مینجمنٹ یہاں تک رسائی حاصل کریں۔
- پلیٹو ہیلتھ۔ بائیوٹیک اینڈ کلینیکل ٹرائلز انٹیلی جنس۔ یہاں تک رسائی حاصل کریں۔
- ماخذ: https://aws.amazon.com/blogs/machine-learning/how-meesho-built-a-generalized-feed-ranker-using-amazon-sagemaker-inference/
