Generatiivinen tiedustelu

Sisällön moderoinnin parantaminen Amazon Rekognitionin joukkoanalyysin ja mukautetun moderoinnin avulla | Amazon Web Services

Treffi:

Amazonin tunnistus helpottaa kuva- ja videoanalyysien lisäämistä sovelluksiisi. Se perustuu samaan todistettuun, erittäin skaalautuvaan syväoppimistekniikkaan, jonka Amazonin tietokonenäön tutkijat ovat kehittäneet analysoimaan miljardeja kuvia ja videoita päivittäin. Sen käyttö ei vaadi koneoppimisen (ML) asiantuntemusta ja lisäämme jatkuvasti uusia tietokonenäköominaisuuksia palveluun. Amazon Rekognition sisältää yksinkertaisen, helppokäyttöisen API:n, joka voi nopeasti analysoida minkä tahansa kuvan tai videotiedoston, joka on tallennettu Amazonin yksinkertainen tallennuspalvelu (Amazon S3).

Asiakkaat eri aloilla, kuten mainonnan ja markkinointitekniikan, pelien, median sekä vähittäiskaupan ja sähköisen kaupankäynnin alalla, luottavat loppukäyttäjiensä lataamiin kuviin (käyttäjien luomaan sisältöön tai UGC:hen) tärkeänä osana sitoutumisen lisäämiseen alustallaan. He käyttävät Amazon Rekognition -sisällön valvonta havaitsemaan sopimatonta, ei-toivottua ja loukkaavaa sisältöä suojellakseen brändin mainetta ja edistääkseen turvallisia käyttäjäyhteisöjä.

Tässä viestissä keskustelemme seuraavista asioista:

  • Sisällönvalvontamallin versio 7.0 ja ominaisuudet
  • Kuinka Amazon Rekognition Bulk Analysis toimii sisällön moderointiin
  • Sisällön moderoinnin ennusteen parantaminen joukkoanalyysin ja mukautetun moderoinnin avulla

Sisällönvalvontamallin versio 7.0 ja ominaisuudet

Amazon Rekognition Content Moderation -versio 7.0 lisää 26 uutta valvontatunnistetta ja laajentaa valvontatunnisteen taksonomiaa kaksitasosta kolmiportaiseen tarrakategoriaan. Nämä uudet tunnisteet ja laajennettu taksonomia antavat asiakkaille mahdollisuuden havaita hienojakoisia käsitteitä sisällöstä, jota he haluavat valvoa. Lisäksi päivitetty malli sisältää uuden mahdollisuuden tunnistaa kaksi uutta sisältötyyppiä, animoitu ja kuvitettu sisältö. Näin asiakkaat voivat luoda tarkkoja sääntöjä tällaisten sisältötyyppien sisällyttämiseksi tai poissulkemiseksi valvontatyönkulusta. Näiden uusien päivitysten avulla asiakkaat voivat moderoida sisältöä sisältökäytäntöjensä mukaisesti entistä tarkemmin.

Katsotaanpa seuraavan kuvan moderointitunnisteen tunnistusesimerkkiä.

Seuraavassa taulukossa näkyvät API-vastauksessa palautetut valvontatunnisteet, sisältötyyppi ja luottamuspisteet.

Moderointitarrat Taksonomian taso Luottamuspisteet
Väkivalta L1 92.6%
Graafista väkivaltaa L2 92.6%
Räjähdykset ja räjähdykset L3 92.6%
Sisältötyypit Luottamuspisteet
kuvitettu 93.9%

Saat koko taksonomian sisällönvalvontaversiolle 7.0 vierailemalla osoitteessa kehittäjän opas.

Sisällön moderoinnin joukkoanalyysi

Amazon Rekognition Content Moderation tarjoaa myös sarjakuvan moderoinnin reaaliaikaisen moderoinnin lisäksi Amazon Rekognition -joukkoanalyysi. Sen avulla voit analysoida suuria kuvakokoelmia asynkronisesti tunnistaaksesi sopimattoman sisällön ja saadaksesi käsityksen kuville määritetyistä valvontaluokista. Se myös eliminoi tarpeen rakentaa eräkuvan moderointiratkaisua asiakkaille.

Voit käyttää joukkoanalyysiominaisuutta joko Amazon Rekognition -konsolin kautta tai soittamalla API:ille suoraan AWS CLI:n ja AWS SDK:iden avulla. Amazon Rekognition -konsolissa voit ladata analysoitavat kuvat ja saada tuloksia muutamalla napsautuksella. Kun joukkoanalyysityö on valmis, voit tunnistaa ja tarkastella valvontatunnisteiden ennusteita, kuten intiimien osien eksplisiittinen, ei-selkeä alastomuus ja suudelma, väkivalta, huumeet ja tupakka ja paljon muuta. Saat myös luottamuspisteet jokaisesta tarrakategoriasta.

Luo joukkoanalyysityö Amazon Rekognition -konsolissa

Suorita seuraavat vaiheet kokeillaksesi Amazon Rekognition Bulk Analysis -analyysiä:

  1. Valitse Amazon Rekognition -konsolissa Joukkoanalyysi navigointipaneelissa.
  2. Valita Aloita joukkoanalyysi.
  3. Anna työn nimi ja määritä analysoitavat kuvat joko syöttämällä S3-säihön sijainti tai lataamalla kuvia tietokoneeltasi.
  4. Valinnaisesti voit valita sovitin analysoida kuvia mukautetun sovittimen avulla, jonka olet kouluttanut mukautetun moderoinnin avulla.
  5. Valita Aloita analyysi hoitamaan työtä.

Kun prosessi on valmis, voit nähdä tulokset Amazon Rekognition -konsolissa. Myös JSON-kopio analyysituloksista tallennetaan Amazon S3 -tulostuspaikkaan.

Amazon Rekognition Bulk Analysis API -pyyntö

Tässä osiossa opastamme sinua luomaan joukkoanalyysityön kuvien moderointia varten ohjelmointiliitäntöjen avulla. Jos kuvatiedostosi eivät vielä ole S3-säilössä, lataa ne varmistaaksesi Amazon Rekognitionin pääsyn niihin. Samankaltainen kuin joukkoanalyysityön luominen Amazon Rekognition -konsolissa, kun käytetään AloitaMediaAnalysisJob API, sinun on annettava seuraavat parametrit:

  • OperationsConfig – Nämä ovat luotavan media-analyysityön määritysvaihtoehdot:
    • MinConfidence – Valvontatunnisteiden palauttamisen vähimmäisluottamustaso, jonka kelvollinen alue on 0–100. Amazon Rekognition ei palauta mitään tunnisteita, joiden luottamustaso on tätä määritettyä arvoa alhaisempi.
  • panos - Tämä sisältää seuraavat:
    • S3Object – Syöttöluettelotiedoston S3-objektitiedot, mukaan lukien tiedoston lohko ja nimi. syöttötiedosto sisältää JSON-rivit jokaiselle S3-säihöön tallennetulle kuvalle. esimerkiksi: {"source-ref": "s3://MY-INPUT-BUCKET/1.jpg"}
  • OutputConfig - Tämä sisältää seuraavat:
    • S3 kauha – S3-alueen nimi tulostiedostoille.
    • S3KeyPrefix – Tulostetiedostojen avainetuliite.

Katso seuraava koodi:

import boto3
import os
import datetime
import time
import json
import uuid

region = boto3.session.Session().region_name
s3=boto3.client('s3')
rekognition_client=boto3.client('rekognition', region_name=region)

min_confidence = 50
input_bucket = "MY-INPUT-BUCKET"

input_file = "input_file.jsonl"
output_bucket = "MY-OUTPUT-BUCKET"
key_prefix = "moderation-results"
job_name = "bulk-analysis-demo"

job_start_response = rekognition_client.start_media_analysis_job(
    OperationsConfig={"DetectModerationLabels": {"MinConfidence": min_confidence}},
    JobName = job_name,
    Input={"S3Object": {"Bucket": input_bucket, "Name": input_file}},
    OutputConfig={"S3Bucket": output_bucket, "S3KeyPrefix": key_prefix},
)

job_id = job_start_response["JobId"]
max_tries = 60
while max_tries > 0:
    max_tries -= 1
    job = rekognition_client.get_media_analysis_job(JobId=job_id)
    job_status = job["Status"]
    if job_status in ["SUCCEEDED", "FAILED"]:
        print(f"Job {job_name} is {job_status}.")
        if job_status == "SUCCEEDED":
            print(
                f"Bulk Analysis output file copied to:n"
                f"tBucket: {job['Results']['S3Object']['Bucket']}n"
                f"tObject: {job['Results']['S3Object']['Name']}."
            )
        break
    else:
        print(f"Waiting for {job_name}. Current status is {job_status}.")
    time.sleep(10)

Voit käynnistää saman mediaanalyysin käyttämällä seuraavaa AWS CLI -komentoa:

aws rekognition start-media-analysis-job 
--operations-config "DetectModerationLabels={MinConfidence='50'}" 
--input "S3Object={Bucket=input_bucket,Name=input_file.jsonl}" 
--output-config "S3Bucket=output_bucket,S3KeyPrefix=moderation-results"

Amazon Rekognition Bulk Analysis API -tulokset

Voit saada luettelon joukkoanalyysitöistä käyttämällä ListMediaAnalysisJobs. Vastaus sisältää kaikki tiedot analyysityön syöttö- ja tulostiedostoista sekä työn tilasta:

# get the latest 10 media analysis jobs
moderation_job_list = rekognition_client.list_media_analysis_jobs(MaxResults=10, NextToken="")
for job_result in moderation_job_list["MediaAnalysisJobs"]:
 print(f'JobId: {job_result["JobId"]} ,Status: {job_result["Status"]},n
Summary: {job_result["ManifestSummary"]["S3Object"]["Name"]}, n
Result: {job_result["Results"]["S3Object"]["Name"]}n')

Voit myös vedota list-media-analysis-jobs komento AWS CLI:n kautta:

aws rekognition list-media-analysis-jobs --max-results 10

Amazon Rekognition Bulk Analysis luo kaksi tulostetiedostoa tulostusalueeseen. Ensimmäinen tiedosto on manifest-summary.json, joka sisältää joukkoanalyysin työtilastot ja luettelon virheistä:

{
    "version": "1.0",
    "statistics": {
      "total-json-lines": 2,
      "valid-json-lines": 2,
      "invalid-json-lines": 0
    },
    "errors": []
 }

Toinen tiedosto on results.json, joka sisältää yhden JSON-rivin jokaista analysoitua kuvaa kohden seuraavassa muodossa. Jokainen tulos sisältää huippuluokan luokka (L1) tunnistetusta leimasta ja leiman toisen tason luokka (L2), luotettavuuspisteillä 1–100. Joillakin taksonomiatason 2 tarroilla voi olla taksonomiatason 3 tunnisteita (L3). Tämä mahdollistaa sisällön hierarkkisen luokittelun.

{
  "source-ref": "s3://MY-INPUT-BUCKET/1.jpg",
    "detect-moderation-labels": {
    "ModerationLabels": [
      {
        "ParentName": "Products",
        "TaxonomyLevel": 3,
        "Confidence": 91.9385,
        "Name": "Pills"
      },
      {
        "ParentName": "Drugs & Tobacco",
        "TaxonomyLevel": 2,
        "Confidence": 91.9385,
        "Name": "Products"
      },
      {
        "ParentName": "",
        "TaxonomyLevel": 1,
        "Confidence": 91.9385,
        "Name": "Drugs & Tobacco"
      }
    ],
    "ModerationModelVersion": "7.0",
    "ContentTypes": [
      
    ]
  }
}

Sisällönvalvontamallin ennustamisen parantaminen joukkoanalyysin ja mukautetun moderoinnin avulla

Voit parantaa sisällön moderoinnin perusmallin tarkkuutta käyttämällä Mukautettu moderointi ominaisuus. Mukautetun moderoinnin avulla voit harjoitella a Mukautettu moderointisovitin lataamalla kuvat ja merkitsemällä nämä kuvat. Sovittimet ovat modulaarisia komponentteja, jotka voivat laajentaa ja parantaa Amazon Rekognitionin syväoppimismallin ominaisuuksia. Voit helposti merkitä kuviasi yksinkertaisesti vahvistamalla joukkoanalyysityösi ennusteet ja kouluttamalla mukautetun sovittimen. Voit tarkistaa ennusteen tulokset seuraavasti:

  1. Valitse Amazon Rekognition -konsolissa Joukkoanalyysi navigointipaneelissa.
  2. Valitse joukkoanalyysityö ja valitse sitten Tarkista ennusteet.

On Tarkista ennuste -sivulla näet kaikki tässä työssä arvioidut kuvat ja ennakoidut tarrat.

  1. Valitse jokaisen kuvan tarra sellaisenaan (valintamerkki) vahvistaaksesi todellisen positiivisen; tai merkitse poissaolevaksi (X-merkki), jos haluat mitätöidä jokaisen määritetyn tunnisteen (eli tarran ennuste on väärä positiivinen).
  2. Jos kuvalle ei ole määritetty asianmukaista tunnistetta (esim. Väärä negatiivinen), voit myös valita ja määrittää kuvalle oikeat tunnisteet.

Vahvistuksesi perusteella väärät positiiviset ja väärät negatiivit päivitetään vahvistustilastoihin. Voit käyttää näitä tarkistuksia mukautetun moderoinnin sovittimen kouluttamiseen, jonka avulla voit parantaa sisällön valvontaennusteiden tarkkuutta.

  1. Edellytyksenä mukautetun moderointisovittimen kouluttaminen edellyttää, että varmistat vähintään 20 väärää positiivista tai 50 väärää negatiivista jokaista parannettavaa valvontatunnistetta kohden. Kun olet vahvistanut 20 väärää positiivista tai 50 väärää negatiivista, voit valita Kouluta sovitin.

Voit käyttää Mukautetut moderointisovittimet myöhemmin analysoida kuviasi yksinkertaisesti valitsemalla mukautettu sovitin luodessasi uutta joukkoanalyysityötä tai API:n kautta välittämällä mukautetun sovittimen yksilöllisen sovittimen tunnuksen.

Yhteenveto

Tässä viestissä esitimme yleiskatsauksen sisällön moderoinnin versiosta 7.0, sisällön valvonnan joukkoanalyysistä ja sisällön moderoinnin ennusteiden parantamisesta joukkoanalyysin ja mukautetun moderoinnin avulla. Kokeile uusia moderointitunnisteita ja joukkoanalyysiä kirjautumalla sisään AWS-tilillesi ja tutustumalla Amazon Rekognition -konsoliin. Kuvan moderointi ja Joukkoanalyysi.


Tietoja kirjoittajista

Mehdy Haghy on AWS WWCS -tiimin vanhempi ratkaisuarkkitehti, joka on erikoistunut tekoälyyn ja ML:ään AWS:ssä. Hän työskentelee yritysasiakkaiden kanssa ja auttaa heitä siirtymään, modernisoimaan ja optimoimaan työkuormituksensa AWS-pilveä varten. Vapaa-ajallaan hän nauttii persialaisten ruokien ruuanlaitosta ja elektroniikan puuhasteluista.

Shipra Kanoria on AWS:n päätuotepäällikkö. Hän haluaa auttaa asiakkaita ratkaisemaan monimutkaisimmat ongelmansa koneoppimisen ja tekoälyn avulla. Ennen AWS:ään liittymistään Shipra vietti yli 4 vuotta Amazon Alexassa, jossa hän lanseerasi monia tuottavuuteen liittyviä ominaisuuksia Alexa voice assistantissa.

Maria Handoko on AWS:n tuotepäällikkö. Hän keskittyy auttamaan asiakkaita ratkaisemaan liiketoiminnan haasteita koneoppimisen ja tietokonenäön avulla. Vapaa-ajallaan hän harrastaa patikointia, podcastien kuuntelua ja eri keittiöiden tutkimista.

spot_img

Uusin älykkyys

spot_img