Tämä on vieraspostaus, joka on kirjoitettu yhdessä Nielsen Sportsin Tamir Rubinskyn ja Aviad Araniaksen kanssa.

Nielsen Sports muokkaa maailman mediaa ja sisältöä maailmanlaajuiseksi johtajaksi yleisönäkemysten, datan ja analytiikan alalla. Ymmärtämällä ihmisiä ja heidän käyttäytymistään kaikilla kanavilla ja alustoilla annamme asiakkaillemme riippumattoman ja toimivan älykkyyden, jotta he voivat olla yhteydessä yleisöönsä ja olla yhteydessä heidän kanssaan – nyt ja tulevaisuudessa.

Nielsen Sportsin missiona on tarjota asiakkaillemme – brändeille ja oikeudenhaltijoille – mahdollisuus mitata sijoitetun pääoman tuottoprosenttia (ROI) ja urheilun sponsorointimainoskampanjan tehokkuutta kaikilla kanavilla, mukaan lukien TV, verkko, sosiaalinen media ja jopa sanomalehdet ja tarjota tarkan kohdistamisen paikallisella, kansallisella ja kansainvälisellä tasolla.

Tässä viestissä kuvailemme, kuinka Nielsen Sports modernisoi järjestelmää, joka käyttää tuhansia erilaisia ​​koneoppimismalleja (ML) tuotannossa käyttämällä Amazon Sage Maker monen mallin päätepisteitä (MME) ja alentaneet toiminta- ja rahoituskustannukset 75 prosenttia.

Kanavavideon segmentoinnin haasteita

Teknologiamme perustuu tekoälyyn (AI) ja erityisesti tietokonenäköön (CV), jonka avulla voimme seurata brändin näkyvyyttä ja tunnistaa sen sijainnin tarkasti. Tunnistamme esimerkiksi, onko brändi bannerissa vai paidassa. Lisäksi tunnistamme merkin sijainnin tuotteessa, kuten kyltin tai hihan yläkulmassa. Seuraavassa kuvassa on esimerkki merkintäjärjestelmästämme.

Ymmärtääksemme skaalaus- ja kustannushaasteitamme, katsotaanpa joitain edustavia lukuja. Tunnistamme joka kuukausi yli 120 miljoonaa brändin näyttökertaa eri kanavissa, ja järjestelmän on tuettava yli 100,000 6 brändin ja eri tuotemerkkien muunnelman tunnistamista. Olemme rakentaneet yhden maailman suurimmista tuotemerkkien näyttökertojen tietokannoista yli XNUMX miljardilla tietopisteellä.

Media-arviointiprosessimme sisältää useita vaiheita, kuten seuraavassa kuvassa:

1. Ensinnäkin tallennamme tuhansia kanavia ympäri maailmaa käyttämällä kansainvälistä tallennusjärjestelmää.
2. Suoratoistamme sisällön yhdessä lähetysaikataulun (elektroninen ohjelmointiopas) kanssa seuraavaan vaiheeseen, joka on segmentointi ja erottelu itse pelilähetysten ja muun sisällön tai mainosten välillä.
3. Suoritamme mediaseurantaa, jossa lisäämme jokaiseen segmenttiin lisää metatietoja, kuten liigapisteet, asiaankuuluvat joukkueet ja pelaajat.
4. Suoritamme näkyvyysanalyysin brändien näkyvyydestä ja yhdistämme sitten yleisötiedot laskeaksemme kampanjan arvon.
5. Tiedot toimitetaan asiakkaalle kojelaudalla tai analyytikkoraporteilla. Analyytikolle annetaan suora pääsy raakatietoihin tai tietovarastomme kautta.

Koska toimimme yli tuhannen kanavan ja kymmenien tuhansien videotuntien mittakaavassa vuodessa, meillä on oltava skaalautuva automaatiojärjestelmä analyysiprosessia varten. Ratkaisumme segmentoi lähetyksen automaattisesti ja osaa erottaa asiaankuuluvat videoleikkeet muusta sisällöstä.

Teemme tämän käyttämällä omia algoritmeja ja malleja, jotka olemme kehittäneet kanavien erityisominaisuuksien analysointiin.

Kaiken kaikkiaan käytämme tuhansia erilaisia ​​​​malleja tuotannossa tukemaan tätä tehtävää, joka on kallis, aiheuttaa ylimääräisiä käyttökustannuksia ja on virhealtis ja hidas. Uudella malliarkkitehtuurilla varustettujen mallien saaminen tuotantoon kesti kuukausia.

Tässä halusimme innovoida ja suunnitella järjestelmämme uudelleen.

Kustannustehokas skaalaus CV-malleille SageMaker MME:illä

Vanhaa videon segmentointijärjestelmäämme oli vaikea testata, muuttaa ja ylläpitää. Joitakin haasteita ovat työskentely vanhan ML-kehyksen kanssa, komponenttien keskinäiset riippuvuudet ja vaikeasti optimoitava työnkulku. Tämä johtuu siitä, että perustuimme putkilinjan RabbitMQ:han, joka oli tilallinen ratkaisu. Yhden komponentin, kuten ominaisuuden purkamisen, virheenkorjaus meidän piti testata koko putkisto.

Seuraava kaavio havainnollistaa edellistä arkkitehtuuria.

Osana analyysiämme tunnistimme suorituskyvyn pullonkauloja, kuten yhden mallin käyttämisen koneessa, joka osoitti alhaisen GPU:n käyttöasteen 30–40 %. Löysimme myös tehottomia putkiajoja ja ajoitusalgoritmeja malleille.

Siksi päätimme rakentaa uuden SageMakeriin perustuvan usean vuokraajan arkkitehtuurin, joka toteuttaisi suorituskyvyn optimoinnin parannuksia, tukee dynaamisia eräkokoja ja ajaa useita malleja samanaikaisesti.

Jokainen työnkulun ajo kohdistuu videoryhmään. Jokainen video on 30–90 minuuttia pitkä, ja jokaisella ryhmällä on yli viisi mallia.

Tarkastellaan esimerkkiä: video voi olla 60 minuuttia pitkä ja sisältää 3,600 12 kuvaa ja jokainen kuva on pääteltävä kolmella eri ML-mallilla ensimmäisessä vaiheessa. SageMaker MME:n avulla voimme ajaa 2 kuvan eriä rinnakkain, ja koko erä valmistuu alle 20 sekunnissa. Tavallisena päivänä meillä on yli 100 videoryhmää, ja täytenä viikonloppuna meillä voi olla yli XNUMX videoryhmää.

Seuraava kaavio näyttää uuden, yksinkertaistetun arkkitehtuurimme SageMaker MME:n avulla.

tulokset

Uuden arkkitehtuurin avulla saavutimme monet toivomistamme tuloksista ja joitain ennennäkemättömiä etuja vanhaan arkkitehtuuriin verrattuna:

• Parempi käyttöaika - Suurentamalla eräkokoja (12 videota rinnakkain) ja käyttämällä useita malleja samanaikaisesti (viisi mallia rinnakkain), olemme lyhentäneet prosessin kokonaiskäyttöaikaa 33 %, 1 tunnista 40 minuuttiin.
• Parannettu infrastruktuuri – SageMakerin avulla päivitimme olemassa olevaa infrastruktuuriamme, ja käytämme nyt uudempia AWS-instansseja uudemmilla GPU:illa, kuten g5.xlarge. Yksi muutoksen suurimmista eduista on TorchScript- ja CUDA-optimointien käytön välitön suorituskyvyn paraneminen.
• Optimoitu infrastruktuurin käyttö – Kun meillä on yksi päätepiste, joka voi isännöidä useita malleja, voimme vähentää sekä päätepisteiden että ylläpidettävien koneiden määrää sekä lisätä yhden koneen ja sen GPU:n käyttöä. Tietyssä viiden videon tehtävässä käytämme nyt vain viittä g5-instanssia, mikä antaa meille 75 % kustannushyödyn edellisestä ratkaisusta. Tyypillisessä työkuormassa päivän aikana käytämme yhtä päätepistettä yhdellä g5.xlarge-koneella, jonka GPU-käyttöaste on yli 80 %. Vertailun vuoksi edellisen ratkaisun käyttöaste oli alle 40 %.
• Lisääntynyt ketteryys ja tuottavuus – SageMakerin käyttö antoi meille mahdollisuuden käyttää vähemmän aikaa mallien siirtämiseen ja enemmän aikaa ydinalgoritmiemme ja -malliemme parantamiseen. Tämä on lisännyt insinööri- ja tietotiedetiimimme tuottavuutta. Voimme nyt tutkia ja ottaa käyttöön uuden ML-mallin alle 7 päivässä yli kuukauden sijaan. Tämä on 1 % parannus nopeuteen ja suunnitteluun.
• Parempi laatu ja luottamus - SageMaker A/B -testausominaisuuksien avulla voimme ottaa mallimme käyttöön asteittain ja peruuttaa turvallisesti. Nopeampi elinkaari tuotantoon lisäsi myös ML-malliemme tarkkuutta ja tuloksia.

Seuraava kuva näyttää GPU-käyttömme edellisen arkkitehtuurin kanssa (30-40 % GPU:n käyttöaste).

Seuraava kuva näyttää GPU-käyttömme uudella yksinkertaistetulla arkkitehtuurilla (90 % GPU-käyttöaste).

Yhteenveto

Tässä viestissä kerroimme, kuinka Nielsen Sports modernisoi tuhansia eri malleja tuotannossa käyttävän järjestelmän käyttämällä SageMaker MME:itä ja alensi niiden toiminta- ja rahoituskustannuksia 75 %.

Lue lisää seuraavista:

---

Tietoja Tekijät

Eitan Sela on generatiivisen tekoälyn ja koneoppimisen asiantuntijaratkaisujen arkkitehti Amazon Web Services -palvelussa. Hän työskentelee AWS-asiakkaiden kanssa tarjotakseen ohjausta ja teknistä tukea, mikä auttaa heitä rakentamaan ja käyttämään generatiivisia tekoäly- ja koneoppimisratkaisuja AWS:ssä. Vapaa-ajallaan Eitan nauttii lenkkeilystä ja uusimpien koneoppimisartikkelien lukemisesta.

Gal Goldman on AWS:n vanhempi ohjelmistosuunnittelija ja Enterprise Senior Solution Architect, joka on intohimoinen huippuluokan ratkaisuihin. Hän on erikoistunut ja kehittänyt monia hajautettuja koneoppimispalveluita ja -ratkaisuja. Gal keskittyy myös auttamaan AWS-asiakkaita nopeuttamaan ja voittamaan suunnittelu- ja generatiivisen tekoälyn haasteensa.

Tal Panchek on vanhempi liiketoiminnan kehityspäällikkö tekoälystä ja koneoppimisesta Amazon Web Services -palvelussa. BD-asiantuntijana hän vastaa AWS-palveluiden käyttöönoton, käytön ja tulojen kasvusta. Hän kokoaa asiakkaiden ja teollisuuden tarpeita ja tekee yhteistyötä AWS-tuotetiimien kanssa innovoida, kehittää ja toimittaa AWS-ratkaisuja.

Tamir Rubinsky johtaa maailmanlaajuista tutkimus- ja kehityssuunnittelua Nielsen Sportsissa, tuoden mukanaan laajan kokemuksen innovatiivisten tuotteiden rakentamisesta ja tehokkaiden tiimien johtamisesta. Hänen työnsä muutti urheilun sponsorointimedian arvioinnin innovatiivisten, tekoälypohjaisten ratkaisujen avulla.

Aviad Aranias on MLOps-tiimin johtaja ja Nielsen Sports Analysis -arkkitehti, joka on erikoistunut monimutkaisten putkien luomiseen urheilutapahtumien videoiden analysointiin useiden kanavien kautta. Hän osaa rakentaa ja ottaa käyttöön syväoppimismalleja suuren mittakaavan datan tehokkaaseen käsittelyyn. Vapaa-ajallaan hän leipoo mielellään herkullisia napolilaisia ​​pizzoja.

• SEO-pohjainen sisällön ja PR-jakelu. Vahvista jo tänään.
• PlatoData.Network Vertical Generatiivinen Ai. Vahvista itseäsi. Pääsy tästä.
• PlatoAiStream. Web3 Intelligence. Tietoa laajennettu. Pääsy tästä.
• PlatoESG. hiili, CleanTech, energia, ympäristö, Aurinko, Jätehuolto. Pääsy tästä.
• PlatonHealth. Biotekniikan ja kliinisten kokeiden älykkyys. Pääsy tästä.
• Lähde: https://aws.amazon.com/blogs/machine-learning/nielsen-sports-sees-75-cost-reduction-in-video-analysis-with-amazon-sagemaker-multi-model-endpoints/