جنریٹیو ڈیٹا انٹیلی جنس

AWS Step Functions کا استعمال کرتے ہوئے Amazon Recognition Custom Labels ماڈل کی تربیت اور تعیناتی کو خودکار بنائیں

تاریخ:

ساتھ ایمیزون ریکگنیشن کسٹم لیبلز، آپ لے سکتے ہیں ایمیزون پہچان۔ اپنی کاروباری ضروریات کے لیے مخصوص آبجیکٹ کا پتہ لگانے یا تصویر کی درجہ بندی کے لیے ایک حسب ضرورت ماڈل کو تربیت دیں۔ مثال کے طور پر، Recognition Custom Labels سوشل میڈیا پوسٹس میں آپ کا لوگو تلاش کر سکتے ہیں، اسٹور شیلف پر آپ کی مصنوعات کی شناخت کر سکتے ہیں، مشین کے پرزوں کو اسمبلی لائن میں درجہ بندی کر سکتے ہیں، صحت مند اور متاثرہ پودوں میں فرق کر سکتے ہیں، یا ویڈیوز میں متحرک کرداروں کا پتہ لگا سکتے ہیں۔

تصویروں کا تجزیہ کرنے کے لیے شناخت کے حسب ضرورت لیبلز کا ماڈل تیار کرنا ایک اہم کام ہے جس کے لیے وقت، مہارت اور وسائل درکار ہوتے ہیں، اکثر اسے مکمل ہونے میں مہینوں لگتے ہیں۔ مزید برآں، ماڈل کو درست طریقے سے فیصلے کرنے کے لیے کافی ڈیٹا فراہم کرنے کے لیے اسے اکثر ہزاروں یا دسیوں ہزار ہاتھ سے لیبل والی تصاویر کی ضرورت ہوتی ہے۔ اس ڈیٹا کو تیار کرنے میں مہینوں لگ سکتے ہیں اور اسے مشین لرننگ (ML) میں استعمال کے لیے تیار کرنے کے لیے لیبلرز کی بڑی ٹیموں کی ضرورت ہوتی ہے۔

ریکگنیشن کسٹم لیبلز کے ساتھ، ہم آپ کے لیے بھاری سامان اٹھانے کا خیال رکھتے ہیں۔ ریکگنیشن کسٹم لیبلز Amazon Recognition کی موجودہ صلاحیتوں کو تیار کرتے ہیں، جو پہلے ہی کئی زمروں میں دسیوں ملین تصاویر پر تربیت یافتہ ہے۔ ہزاروں تصاویر کے بجائے، آپ کو صرف تربیتی تصاویر کا ایک چھوٹا سیٹ اپ لوڈ کرنے کی ضرورت ہے (عام طور پر چند سو تصاویر یا اس سے کم) جو ہمارے استعمال میں آسان کنسول کے ذریعے آپ کے استعمال کے معاملے کے لیے مخصوص ہیں۔ اگر آپ کی تصاویر پر پہلے ہی لیبل لگا ہوا ہے، تو Amazon Recognition صرف چند کلکس میں تربیت شروع کر سکتا ہے۔ اگر نہیں، تو آپ انہیں ایمیزون ریکگنیشن لیبلنگ انٹرفیس میں براہ راست لیبل لگا سکتے ہیں، یا استعمال کر سکتے ہیں۔ ایمیزون سیج میکر گراؤنڈ ٹروتھ انہیں آپ کے لیے لیبل کرنے کے لیے۔ Amazon Recognition کے آپ کے تصویری سیٹ سے تربیت شروع کرنے کے بعد، یہ آپ کے لیے صرف چند گھنٹوں میں ایک حسب ضرورت تصویری تجزیہ ماڈل تیار کرتا ہے۔ پردے کے پیچھے، Recognition Custom Labels خود بخود ٹریننگ ڈیٹا کو لوڈ اور معائنہ کرتا ہے، صحیح ML الگورتھم کا انتخاب کرتا ہے، ایک ماڈل کو تربیت دیتا ہے، اور ماڈل کی کارکردگی کے میٹرکس فراہم کرتا ہے۔ اس کے بعد آپ Recognition Custom Labels API کے ذریعے اپنا حسب ضرورت ماڈل استعمال کر سکتے ہیں اور اسے اپنی ایپلی کیشنز میں ضم کر سکتے ہیں۔

تاہم، Recognition Custom Labels ماڈل بنانے اور اسے حقیقی وقت کی پیشین گوئیوں کے لیے میزبانی کرنے میں کئی مراحل شامل ہیں: ایک پروجیکٹ بنانا، تربیت اور توثیق کے ڈیٹاسیٹ بنانا، ماڈل کی تربیت کرنا، ماڈل کا جائزہ لینا، اور پھر ایک اختتامی نقطہ بنانا۔ اندازہ لگانے کے لیے ماڈل کے تعینات ہونے کے بعد، نیا ڈیٹا دستیاب ہونے پر یا حقیقی دنیا کے تخمینے سے رائے موصول ہونے پر آپ کو ماڈل کو دوبارہ تربیت دینا پڑ سکتی ہے۔ پورے ورک فلو کو خودکار کرنے سے دستی کام کو کم کرنے میں مدد مل سکتی ہے۔

اس پوسٹ میں، ہم دکھاتے ہیں کہ آپ کس طرح استعمال کر سکتے ہیں۔ AWS اسٹیپ فنکشنز کام کے بہاؤ کی تعمیر اور خود کار طریقے سے. Step Functions ایک بصری ورک فلو سروس ہے جو ڈیولپرز کو AWS سروسز کو تقسیم شدہ ایپلیکیشنز بنانے، عمل کو خود کار بنانے، مائیکرو سروسز کو آرکیسٹریٹ کرنے اور ڈیٹا اور ML پائپ لائنز بنانے میں مدد کرتی ہے۔

حل جائزہ

سٹیپ فنکشنز ورک فلو مندرجہ ذیل ہے:

  1. ہم سب سے پہلے ایک Amazon Recognition پروجیکٹ بناتے ہیں۔
  2. متوازی طور پر، ہم موجودہ ڈیٹاسیٹس کا استعمال کرتے ہوئے تربیت اور توثیق کے ڈیٹاسیٹ بناتے ہیں۔ ہم درج ذیل طریقے استعمال کر سکتے ہیں۔
    1. سے فولڈر کا ڈھانچہ درآمد کریں۔ ایمیزون سادہ اسٹوریج سروس (ایمیزون S3) لیبلز کی نمائندگی کرنے والے فولڈرز کے ساتھ۔
    2. مقامی کمپیوٹر استعمال کریں۔
    3. زمینی سچائی کا استعمال کریں۔
    4. AWS SDK کے ساتھ موجودہ ڈیٹاسیٹ کا استعمال کرتے ہوئے ایک ڈیٹاسیٹ بنائیں.
    5. AWS SDK کے ساتھ ایک مینی فیسٹ فائل کے ساتھ ڈیٹا سیٹ بنائیں.
  3. ڈیٹا سیٹس بنانے کے بعد، ہم استعمال کرتے ہوئے ایک کسٹم لیبل ماڈل کو تربیت دیتے ہیں۔ پروجیکٹ ورژن بنائیں API اسے مکمل ہونے میں منٹوں سے گھنٹوں تک کا وقت لگ سکتا ہے۔
  4. ماڈل کی تربیت کے بعد، ہم پچھلے مرحلے سے F1 سکور آؤٹ پٹ کا استعمال کرتے ہوئے ماڈل کا جائزہ لیتے ہیں۔ ہم F1 سکور کو اپنے تشخیصی میٹرک کے طور پر استعمال کرتے ہیں کیونکہ یہ درستگی اور یاد کے درمیان توازن فراہم کرتا ہے۔ آپ اپنے ماڈل کی تشخیص کے میٹرکس کے طور پر درستگی یا یاد کو بھی استعمال کر سکتے ہیں۔ حسب ضرورت لیبل کی تشخیص کے میٹرکس کے بارے میں مزید معلومات کے لیے، ملاحظہ کریں۔ آپ کے ماڈل کا جائزہ لینے کے لیے میٹرکس.
  5. اگر ہم F1 سکور سے مطمئن ہیں تو ہم پیشین گوئیوں کے لیے ماڈل کا استعمال شروع کر دیتے ہیں۔

درج ذیل خاکہ سٹیپ فنکشنز ورک فلو کو واضح کرتا ہے۔

شرائط

ورک فلو کو تعینات کرنے سے پہلے، ہمیں موجودہ تربیت اور توثیق کے ڈیٹا سیٹس بنانے کی ضرورت ہے۔ درج ذیل مراحل کو مکمل کریں:

  1. سب سے پہلے، ایک Amazon Recognition پروجیکٹ بنائیں.
  2. اس کے بعد، تربیت اور توثیق کے ڈیٹاسیٹ بنائیں.
  3. آخر میں، AWS SAM CLI انسٹال کریں۔.

ورک فلو تعینات کریں۔

ورک فلو کو تعینات کرنے کے لیے، کلون کریں۔ GitHub ذخیرہ:

git clone https://github.com/aws-samples/rekognition-customlabels-automation-with-stepfunctions.git
cd rekognition-customlabels-automation-with-stepfunctions
sam build
sam deploy --guided

یہ کمانڈز آپ کی ایپلیکیشن کو AWS پر بناتی، پیک کرتی اور تعینات کرتی ہیں، جیسا کہ ریپوزٹری میں بیان کیا گیا ہے۔

ورک فلو چلائیں۔

ورک فلو کو جانچنے کے لیے، سٹیپ فنکشنز کنسول پر تعینات ورک فلو پر جائیں، پھر منتخب کریں عمل درآمد شروع کریں۔.

ورک فلو کو مکمل ہونے میں چند منٹ سے چند گھنٹے لگ سکتے ہیں۔ اگر ماڈل تشخیص کے معیار کو پاس کرتا ہے، تو Amazon Recognition میں ماڈل کے لیے ایک اینڈ پوائنٹ بنایا جاتا ہے۔ اگر ماڈل تشخیص کے معیار کو پاس نہیں کرتا ہے یا تربیت ناکام ہو جاتی ہے، تو ورک فلو ناکام ہو جاتا ہے۔ آپ اسٹیپ فنکشنز کنسول پر ورک فلو کی حالت چیک کر سکتے ہیں۔ مزید معلومات کے لیے رجوع کریں۔ اسٹیپ فنکشنز کنسول پر عملدرآمد کو دیکھنا اور ڈیبگ کرنا.

ماڈل کی پیشن گوئیاں انجام دیں۔

ماڈل کے خلاف پیشین گوئیاں کرنے کے لیے، آپ کال کر سکتے ہیں۔ Amazon Recognition DetectCustomLabels API. اس API کو طلب کرنے کے لیے، کالر کے پاس ضروری ہونا ضروری ہے۔ AWS شناخت اور رسائی کا انتظام (IAM) کی اجازت۔ اس API کا استعمال کرتے ہوئے پیشین گوئیاں کرنے کے بارے میں مزید تفصیلات کے لیے، رجوع کریں۔ تربیت یافتہ ماڈل کے ساتھ تصویر کا تجزیہ کرنا.

تاہم، اگر آپ کو DetectCustomLabels API کو عوامی طور پر بے نقاب کرنے کی ضرورت ہے، تو آپ DetectCustomLabels API کو سامنے رکھ سکتے ہیں۔ ایمیزون API گیٹ وے. API گیٹ وے ایک مکمل طور پر منظم سروس ہے جو ڈویلپرز کے لیے کسی بھی پیمانے پر APIs بنانا، شائع کرنا، برقرار رکھنا، نگرانی کرنا اور محفوظ کرنا آسان بناتی ہے۔ API گیٹ وے آپ کے DetectCustomLabels API کے سامنے کے دروازے کے طور پر کام کرتا ہے، جیسا کہ درج ذیل آرکیٹیکچر ڈایاگرام میں دکھایا گیا ہے۔

API گیٹ وے صارف کی تخمینہ کی درخواست کو آگے بھیجتا ہے۔ او ڈبلیو ایس لامبڈا۔. لیمبڈا ایک سرور لیس، ایونٹ سے چلنے والی کمپیوٹ سروس ہے جو آپ کو کسی بھی قسم کی ایپلیکیشن یا بیک اینڈ سروس کے لیے سرورز کی فراہمی یا انتظام کیے بغیر کوڈ چلانے دیتی ہے۔ Lambda API کی درخواست وصول کرتا ہے اور ضروری IAM اجازتوں کے ساتھ Amazon Recognition DetectCustomLabels API کو کال کرتا ہے۔ لیمبڈا انضمام کے ساتھ API گیٹ وے کو کیسے ترتیب دیا جائے اس بارے میں مزید معلومات کے لیے، رجوع کریں۔ API گیٹ وے میں لیمبڈا پراکسی انٹیگریشنز ترتیب دیں۔.

DetectCustomLabels API کو کال کرنے کے لیے لیمبڈا فنکشن کوڈ کی مثال درج ذیل ہے۔

client = boto3.client('rekognition', region_name="us-east-1")
REKOGNITION_PROJECT_VERSION_ARN = os.getenv( 'REKOGNITION_PROJECT_VERSION_ARN', None) def lambda_handler(event, context): image = json.dumps(event['body']) # Base64 decode the base64 encoded image body since API GW base64 encodes the image sent in and # Amazon Rekognition's detect_custom_labels API base64 encodes automatically ( since we are using the SDK) base64_decoded_image = base64.b64decode(image) min_confidence = 85 # Call DetectCustomLabels response = client.detect_custom_labels(Image={'Bytes': base64_decoded_image}, MinConfidence=min_confidence, ProjectVersionArn=REKOGNITION_PROJECT_VERSION_ARN) response_body = json.loads(json.dumps(response)) statusCode = response_body['ResponseMetadata']['HTTPStatusCode'] predictions = {} predictions['Predictions'] = response_body['CustomLabels'] return { "statusCode": statusCode, "body": json.dumps(predictions) }

صاف کرو

ورک فلو کو حذف کرنے کے لیے، AWS SAM CLI استعمال کریں:

sam delete —stack-name <your sam project name>

Recognition Custom Labels ماڈل کو حذف کرنے کے لیے، آپ یا تو Amazon Recognition کنسول یا AWS SDK استعمال کر سکتے ہیں۔ مزید معلومات کے لیے رجوع کریں۔ ایمیزون ریکگنیشن کسٹم لیبلز ماڈل کو حذف کرنا.

نتیجہ

اس پوسٹ میں، ہم ڈیٹاسیٹ بنانے اور پھر شناخت کے حسب ضرورت لیبلز ماڈل کو تربیت دینے، جانچنے اور استعمال کرنے کے لیے اسٹیپ فنکشنز کے ورک فلو سے گزرے۔ ورک فلو ایپلیکیشن ڈویلپرز اور ایم ایل انجینئرز کو کسی بھی کمپیوٹر ویژن کے استعمال کے کیس کے لیے حسب ضرورت لیبل کی درجہ بندی کے مراحل کو خودکار کرنے کی اجازت دیتا ہے۔ ورک فلو کا کوڈ اوپن سورس ہے۔

مزید سرور کے بغیر سیکھنے کے وسائل کے لیے، ملاحظہ کریں۔ بے سرور زمین. ریکگنیشن کسٹم لیبلز کے بارے میں مزید جاننے کے لیے، ملاحظہ کریں۔ ایمیزون ریکگنیشن کسٹم لیبلز.


مصنف کے بارے میں

وید رمن میری لینڈ میں مقیم مشین لرننگ کے لیے ایک سینئر اسپیشلسٹ سولیوشن آرکیٹیکٹ ہے۔ ویدا صارفین کے ساتھ کام کرتا ہے تاکہ ان کو موثر، محفوظ اور قابل توسیع مشین لرننگ ایپلی کیشنز کو معمار بنانے میں مدد ملے۔ ویڈا مشین لرننگ کے لیے بغیر سرور ٹیکنالوجیز کا فائدہ اٹھانے میں صارفین کی مدد کرنے میں دلچسپی رکھتا ہے۔

اسپاٹ_مگ

تازہ ترین انٹیلی جنس

اسپاٹ_مگ