जनरेटिव डेटा इंटेलिजेंस

अमेज़ॅन रिकॉग्निशन बल्क विश्लेषण और कस्टम मॉडरेशन के साथ सामग्री मॉडरेशन में सुधार | अमेज़न वेब सेवाएँ

दिनांक:

अमेज़ॅन रेकग्निशन आपके एप्लिकेशन में छवि और वीडियो विश्लेषण जोड़ना आसान बनाता है। यह अमेज़ॅन के कंप्यूटर विज़न वैज्ञानिकों द्वारा प्रतिदिन अरबों छवियों और वीडियो का विश्लेषण करने के लिए विकसित उसी सिद्ध, उच्च स्केलेबल, गहन शिक्षण तकनीक पर आधारित है। इसका उपयोग करने के लिए किसी मशीन लर्निंग (एमएल) विशेषज्ञता की आवश्यकता नहीं है और हम सेवा में लगातार नई कंप्यूटर विज़न सुविधाएँ जोड़ रहे हैं। अमेज़ॅन रिकॉग्निशन में एक सरल, उपयोग में आसान एपीआई शामिल है जो संग्रहीत किसी भी छवि या वीडियो फ़ाइल का तुरंत विश्लेषण कर सकता है अमेज़न सरल भंडारण सेवा (अमेज़न S3)।

विज्ञापन और विपणन प्रौद्योगिकी, गेमिंग, मीडिया और खुदरा और ई-कॉमर्स जैसे उद्योगों में ग्राहक अपने प्लेटफ़ॉर्म पर जुड़ाव बढ़ाने के लिए एक महत्वपूर्ण घटक के रूप में अपने अंतिम-उपयोगकर्ताओं (उपयोगकर्ता-जनित सामग्री या यूजीसी) द्वारा अपलोड की गई छवियों पर भरोसा करते हैं। वे उपयोग करते हैं अमेज़ॅन मान्यता सामग्री मॉडरेशन अपने ब्रांड की प्रतिष्ठा की रक्षा करने और सुरक्षित उपयोगकर्ता समुदायों को बढ़ावा देने के लिए अनुचित, अवांछित और आपत्तिजनक सामग्री का पता लगाना।

इस पोस्ट में हम निम्नलिखित पर चर्चा करेंगे:

  • सामग्री मॉडरेशन मॉडल संस्करण 7.0 और क्षमताएं
  • कंटेंट मॉडरेशन के लिए अमेज़न रिकॉग्निशन बल्क एनालिसिस कैसे काम करता है
  • बल्क विश्लेषण और कस्टम मॉडरेशन के साथ सामग्री मॉडरेशन भविष्यवाणी को कैसे सुधारें

सामग्री मॉडरेशन मॉडल संस्करण 7.0 और क्षमताएँ

अमेज़ॅन रिकॉग्निशन कंटेंट मॉडरेशन संस्करण 7.0 26 नए मॉडरेशन लेबल जोड़ता है और मॉडरेशन लेबल वर्गीकरण को दो-स्तरीय से तीन-स्तरीय लेबल श्रेणी तक विस्तारित करता है। ये नए लेबल और विस्तारित वर्गीकरण ग्राहकों को उस सामग्री पर सूक्ष्म अवधारणाओं का पता लगाने में सक्षम बनाते हैं जिन्हें वे मॉडरेट करना चाहते हैं। इसके अतिरिक्त, अद्यतन मॉडल दो नए सामग्री प्रकारों, एनिमेटेड और सचित्र सामग्री की पहचान करने की एक नई क्षमता पेश करता है। यह ग्राहकों को अपने मॉडरेशन वर्कफ़्लो से ऐसी सामग्री प्रकारों को शामिल करने या बाहर करने के लिए विस्तृत नियम बनाने की अनुमति देता है। इन नए अपडेट के साथ, ग्राहक अपनी सामग्री नीति के अनुसार उच्च सटीकता के साथ सामग्री को मॉडरेट कर सकते हैं।

आइए निम्नलिखित छवि के लिए मॉडरेशन लेबल पहचान उदाहरण देखें।

निम्न तालिका एपीआई प्रतिक्रिया में लौटाए गए मॉडरेशन लेबल, सामग्री प्रकार और आत्मविश्वास स्कोर दिखाती है।

मॉडरेशन लेबल वर्गीकरण स्तर आत्मविश्वास स्कोर
हिंसा L1 92.6% तक
चित्रात्मक हिंसा L2 92.6% तक
विस्फोट और धमाके L3 92.6% तक
सामग्री प्रकार आत्मविश्वास स्कोर
सचित्र 93.9% तक

सामग्री मॉडरेशन संस्करण 7.0 के लिए पूर्ण वर्गीकरण प्राप्त करने के लिए, हमारी वेबसाइट पर जाएँ डेवलपर गाइड.

सामग्री मॉडरेशन के लिए थोक विश्लेषण

अमेज़ॅन रिकॉग्निशन कंटेंट मॉडरेशन वास्तविक समय मॉडरेशन के अलावा बैच इमेज मॉडरेशन भी प्रदान करता है अमेज़न मान्यता थोक विश्लेषण. यह आपको अनुपयुक्त सामग्री का पता लगाने और छवियों को निर्दिष्ट मॉडरेशन श्रेणियों में अंतर्दृष्टि प्राप्त करने के लिए बड़े छवि संग्रहों का अतुल्यकालिक रूप से विश्लेषण करने में सक्षम बनाता है। यह ग्राहकों के लिए बैच इमेज मॉडरेशन समाधान बनाने की आवश्यकता को भी समाप्त करता है।

आप या तो अमेज़ॅन रिकॉग्निशन कंसोल के माध्यम से या एडब्ल्यूएस सीएलआई और एडब्ल्यूएस एसडीके का उपयोग करके सीधे एपीआई को कॉल करके बल्क विश्लेषण सुविधा तक पहुंच सकते हैं। अमेज़ॅन रिकॉग्निशन कंसोल पर, आप उन छवियों को अपलोड कर सकते हैं जिनका आप विश्लेषण करना चाहते हैं और कुछ क्लिक के साथ परिणाम प्राप्त कर सकते हैं। एक बार जब थोक विश्लेषण कार्य पूरा हो जाता है, तो आप मॉडरेशन लेबल भविष्यवाणियों को पहचान और देख सकते हैं, जैसे कि अंतरंग भागों की स्पष्ट, गैर-स्पष्ट नग्नता और चुंबन, हिंसा, ड्रग्स और तंबाकू, और बहुत कुछ। आपको प्रत्येक लेबल श्रेणी के लिए एक आत्मविश्वास स्कोर भी प्राप्त होता है।

Amazon Rekognition कंसोल पर एक बल्क विश्लेषण कार्य बनाएं

अमेज़ॅन रिकॉग्निशन बल्क विश्लेषण आज़माने के लिए निम्नलिखित चरणों को पूरा करें:

  1. Amazon Rekognition कंसोल पर, चुनें थोक विश्लेषण नेविगेशन फलक में
  2. चुनें थोक विश्लेषण प्रारंभ करें.
  3. नौकरी का नाम दर्ज करें और विश्लेषण करने के लिए छवियां निर्दिष्ट करें, या तो S3 बकेट स्थान दर्ज करके या अपने कंप्यूटर से छवियां अपलोड करके।
  4. वैकल्पिक रूप से, आप एक का चयन कर सकते हैं अनुकूलक कस्टम एडाप्टर का उपयोग करके छवियों का विश्लेषण करने के लिए जिसे आपने कस्टम मॉडरेशन का उपयोग करके प्रशिक्षित किया है।
  5. चुनें विश्लेषण शुरू करें नौकरी चलाने के लिए।

जब प्रक्रिया पूरी हो जाएगी, तो आप अमेज़ॅन रिकॉग्निशन कंसोल पर परिणाम देख सकते हैं। साथ ही, विश्लेषण परिणामों की एक JSON प्रति Amazon S3 आउटपुट स्थान पर संग्रहीत की जाएगी।

अमेज़ॅन रिकॉग्निशन बल्क विश्लेषण एपीआई अनुरोध

इस अनुभाग में, हम प्रोग्रामिंग इंटरफेस का उपयोग करके छवि मॉडरेशन के लिए एक थोक विश्लेषण कार्य बनाने में आपका मार्गदर्शन करते हैं। यदि आपकी छवि फ़ाइलें पहले से ही S3 बकेट में नहीं हैं, तो Amazon Rekognition द्वारा पहुंच सुनिश्चित करने के लिए उन्हें अपलोड करें। अमेज़ॅन रिकॉग्निशन कंसोल पर बल्क विश्लेषण कार्य बनाने के समान, जब इसे लागू किया जाता है स्टार्टमीडियाएनालिसिसजॉब एपीआई, आपको निम्नलिखित पैरामीटर प्रदान करने की आवश्यकता है:

  • ऑपरेशंस कॉन्फिग - बनाए जाने वाले मीडिया विश्लेषण कार्य के लिए ये कॉन्फ़िगरेशन विकल्प हैं:
    • न्यूनतम आत्मविश्वास - मॉडरेशन लेबल वापस आने के लिए 0-100 की वैध सीमा के साथ न्यूनतम आत्मविश्वास स्तर। अमेज़ॅन रिकॉग्निशन इस निर्दिष्ट मूल्य से कम आत्मविश्वास स्तर वाला कोई भी लेबल वापस नहीं करता है।
  • निवेश - इसमें निम्नलिखित शामिल हैं:
    • S3ऑब्जेक्ट - इनपुट मेनिफेस्ट फ़ाइल के लिए S3 ऑब्जेक्ट जानकारी, जिसमें फ़ाइल की बकेट और नाम शामिल है। इनपुट फ़ाइल में S3 बकेट पर संग्रहीत प्रत्येक छवि के लिए JSON लाइनें शामिल हैं। उदाहरण के लिए: {"source-ref": "s3://MY-INPUT-BUCKET/1.jpg"}
  • आउटपुट कॉन्फिग - इसमें निम्नलिखित शामिल हैं:
    • S3बाल्टी - आउटपुट फ़ाइलों के लिए S3 बकेट नाम।
    • S3KeyPrefix - आउटपुट फ़ाइलों के लिए कुंजी उपसर्ग।

निम्नलिखित कोड देखें:

import boto3
import os
import datetime
import time
import json
import uuid

region = boto3.session.Session().region_name
s3=boto3.client('s3')
rekognition_client=boto3.client('rekognition', region_name=region)

min_confidence = 50
input_bucket = "MY-INPUT-BUCKET"

input_file = "input_file.jsonl"
output_bucket = "MY-OUTPUT-BUCKET"
key_prefix = "moderation-results"
job_name = "bulk-analysis-demo"

job_start_response = rekognition_client.start_media_analysis_job(
    OperationsConfig={"DetectModerationLabels": {"MinConfidence": min_confidence}},
    JobName = job_name,
    Input={"S3Object": {"Bucket": input_bucket, "Name": input_file}},
    OutputConfig={"S3Bucket": output_bucket, "S3KeyPrefix": key_prefix},
)

job_id = job_start_response["JobId"]
max_tries = 60
while max_tries > 0:
    max_tries -= 1
    job = rekognition_client.get_media_analysis_job(JobId=job_id)
    job_status = job["Status"]
    if job_status in ["SUCCEEDED", "FAILED"]:
        print(f"Job {job_name} is {job_status}.")
        if job_status == "SUCCEEDED":
            print(
                f"Bulk Analysis output file copied to:n"
                f"tBucket: {job['Results']['S3Object']['Bucket']}n"
                f"tObject: {job['Results']['S3Object']['Name']}."
            )
        break
    else:
        print(f"Waiting for {job_name}. Current status is {job_status}.")
    time.sleep(10)

आप निम्नलिखित AWS CLI कमांड का उपयोग करके समान मीडिया विश्लेषण शुरू कर सकते हैं:

aws rekognition start-media-analysis-job 
--operations-config "DetectModerationLabels={MinConfidence='50'}" 
--input "S3Object={Bucket=input_bucket,Name=input_file.jsonl}" 
--output-config "S3Bucket=output_bucket,S3KeyPrefix=moderation-results"

अमेज़ॅन रिकॉग्निशन बल्क विश्लेषण एपीआई परिणाम

थोक विश्लेषण कार्यों की सूची प्राप्त करने के लिए, आप इसका उपयोग कर सकते हैं ListMediaAnalysisJobs. प्रतिक्रिया में विश्लेषण कार्य इनपुट और आउटपुट फ़ाइलों और कार्य की स्थिति के बारे में सभी विवरण शामिल हैं:

# get the latest 10 media analysis jobs
moderation_job_list = rekognition_client.list_media_analysis_jobs(MaxResults=10, NextToken="")
for job_result in moderation_job_list["MediaAnalysisJobs"]:
 print(f'JobId: {job_result["JobId"]} ,Status: {job_result["Status"]},n
Summary: {job_result["ManifestSummary"]["S3Object"]["Name"]}, n
Result: {job_result["Results"]["S3Object"]["Name"]}n')

आप भी आह्वान कर सकते हैं list-media-analysis-jobs AWS CLI के माध्यम से आदेश:

aws rekognition list-media-analysis-jobs --max-results 10

अमेज़ॅन रिकॉग्निशन बल्क एनालिसिस आउटपुट बकेट में दो आउटपुट फ़ाइलें उत्पन्न करता है। पहली फ़ाइल है manifest-summary.json, जिसमें थोक विश्लेषण नौकरी के आँकड़े और त्रुटियों की एक सूची शामिल है:

{
    "version": "1.0",
    "statistics": {
      "total-json-lines": 2,
      "valid-json-lines": 2,
      "invalid-json-lines": 0
    },
    "errors": []
 }

दूसरी फ़ाइल है results.json, जिसमें निम्नलिखित प्रारूप में प्रत्येक विश्लेषण की गई छवि के लिए एक JSON लाइन शामिल है। प्रत्येक परिणाम में शामिल हैं शीर्ष स्तरीय श्रेणी (एल1) एक पहचाने गए लेबल का और लेबल की दूसरी-स्तरीय श्रेणी (एल2), 1-100 के बीच आत्मविश्वास स्कोर के साथ। कुछ वर्गीकरण स्तर 2 लेबल में वर्गीकरण स्तर 3 लेबल (एल3) हो सकते हैं। यह सामग्री के एक श्रेणीबद्ध वर्गीकरण की अनुमति देता है।

{
  "source-ref": "s3://MY-INPUT-BUCKET/1.jpg",
    "detect-moderation-labels": {
    "ModerationLabels": [
      {
        "ParentName": "Products",
        "TaxonomyLevel": 3,
        "Confidence": 91.9385,
        "Name": "Pills"
      },
      {
        "ParentName": "Drugs & Tobacco",
        "TaxonomyLevel": 2,
        "Confidence": 91.9385,
        "Name": "Products"
      },
      {
        "ParentName": "",
        "TaxonomyLevel": 1,
        "Confidence": 91.9385,
        "Name": "Drugs & Tobacco"
      }
    ],
    "ModerationModelVersion": "7.0",
    "ContentTypes": [
      
    ]
  }
}

बल्क विश्लेषण और कस्टम मॉडरेशन का उपयोग करके सामग्री मॉडरेशन मॉडल भविष्यवाणी में सुधार करना

आप इसके साथ कंटेंट मॉडरेशन बेस मॉडल की सटीकता बढ़ा सकते हैं कस्टम मॉडरेशन विशेषता। कस्टम मॉडरेशन के साथ, आप प्रशिक्षित कर सकते हैं कस्टम मॉडरेशन एडाप्टर अपनी छवियां अपलोड करके और इन छवियों को एनोटेट करके। एडेप्टर मॉड्यूलर घटक हैं जो अमेज़ॅन रिकॉग्निशन डीप लर्निंग मॉडल की क्षमताओं को बढ़ा और बढ़ा सकते हैं। अपनी छवियों को आसानी से एनोटेट करने के लिए, आप कस्टम एडाप्टर को प्रशिक्षित करने के लिए अपने थोक विश्लेषण कार्य की भविष्यवाणियों को आसानी से सत्यापित कर सकते हैं। पूर्वानुमान परिणामों को सत्यापित करने के लिए, नीचे दिए गए चरणों का पालन करें:

  1. Amazon Rekognition कंसोल पर, चुनें थोक विश्लेषण नेविगेशन फलक में
  2. थोक विश्लेषण कार्य चुनें, फिर चुनें भविष्यवाणियों को सत्यापित करें.

पर भविष्यवाणी सत्यापित करें पृष्ठ पर, आप इस कार्य में मूल्यांकित सभी छवियां और अनुमानित लेबल देख सकते हैं।

  1. ट्रू पॉजिटिव को मान्य करने के लिए प्रत्येक छवि के लेबल को वर्तमान (चेक मार्क) के रूप में चुनें; या प्रत्येक निर्दिष्ट लेबल को अमान्य करने के लिए गैर-वर्तमान (एक्स चिह्न) के रूप में चिह्नित करें (यानी, लेबल भविष्यवाणी एक गलत सकारात्मक है)।
  2. यदि छवि को उपयुक्त लेबल निर्दिष्ट नहीं किया गया है (अर्थात, गलत नकारात्मक), तो आप छवि को सही लेबल भी चुन और निर्दिष्ट कर सकते हैं।

आपके सत्यापन के आधार पर, सत्यापन आंकड़ों में गलत सकारात्मक और गलत नकारात्मक अपडेट किए जाएंगे। आप कस्टम मॉडरेशन एडाप्टर को प्रशिक्षित करने के लिए इन सत्यापनों का उपयोग कर सकते हैं, जो आपको सामग्री मॉडरेशन पूर्वानुमानों की सटीकता को बढ़ाने की अनुमति देता है।

  1. एक शर्त के रूप में, एक कस्टम मॉडरेशन एडाप्टर को प्रशिक्षित करने के लिए आपको प्रत्येक मॉडरेशन लेबल के लिए कम से कम 20 गलत सकारात्मक या 50 गलत नकारात्मक को सत्यापित करना होगा जिसे आप सुधारना चाहते हैं। एक बार जब आप 20 गलत सकारात्मक या 50 गलत नकारात्मक सत्यापित कर लेते हैं, तो आप चुन सकते हैं एक एडाप्टर को प्रशिक्षित करें.

आप का उपयोग कर सकते हैं कस्टम मॉडरेशन एडाप्टर बाद में एक नया बल्क विश्लेषण कार्य बनाते समय या कस्टम एडाप्टर की अद्वितीय एडाप्टर आईडी पास करके एपीआई के माध्यम से कस्टम एडाप्टर का चयन करके अपनी छवियों का विश्लेषण करें।

सारांश

इस पोस्ट में, हमने कंटेंट मॉडरेशन संस्करण 7.0, कंटेंट मॉडरेशन के लिए बल्क विश्लेषण और बल्क विश्लेषण और कस्टम मॉडरेशन का उपयोग करके कंटेंट मॉडरेशन भविष्यवाणियों को कैसे बेहतर बनाया जाए, इसका अवलोकन प्रदान किया है। नए मॉडरेशन लेबल और बल्क विश्लेषण आज़माने के लिए, अपने AWS खाते में लॉग इन करें और Amazon Rekognition कंसोल देखें छवि मॉडरेशन और थोक विश्लेषण.


लेखक के बारे में

मेहदी हघी AWS WWCS टीम में एक वरिष्ठ समाधान वास्तुकार हैं, जो AWS पर AI और ML में विशेषज्ञता रखते हैं। वह एंटरप्राइज़ ग्राहकों के साथ काम करता है, उन्हें AWS क्लाउड के लिए उनके कार्यभार को स्थानांतरित करने, आधुनिकीकरण करने और अनुकूलित करने में मदद करता है। अपने खाली समय में, वह फ़ारसी भोजन पकाने और इलेक्ट्रॉनिक्स टिंकरिंग का आनंद लेते हैं।

शिप्रा कनोरिया AWS में प्रधान उत्पाद प्रबंधक हैं। उन्हें मशीन लर्निंग और आर्टिफिशियल इंटेलिजेंस की शक्ति से ग्राहकों की सबसे जटिल समस्याओं को हल करने में मदद करने का जुनून है। AWS में शामिल होने से पहले, शिप्रा ने Amazon Alexa में 4 साल से अधिक समय बिताया, जहाँ उन्होंने Alexa वॉयस असिस्टेंट पर उत्पादकता से संबंधित कई सुविधाएँ लॉन्च कीं।

मारिया हांडोको AWS में एक वरिष्ठ उत्पाद प्रबंधक हैं। वह मशीन लर्निंग और कंप्यूटर विजन के माध्यम से ग्राहकों को उनकी व्यावसायिक चुनौतियों को हल करने में मदद करने पर ध्यान केंद्रित करती है। अपने खाली समय में, वह लंबी पैदल यात्रा, पॉडकास्ट सुनना और विभिन्न व्यंजनों की खोज करना पसंद करती है।

स्पॉट_आईएमजी

नवीनतम खुफिया

स्पॉट_आईएमजी