Selle postituse kirjutasid kaasautorid Zdenko Estok, Accenture'i pilvearhitekt ja Sakar Selimcan, Accenture'i DeepRacer SME.

Seoses tehisintellekti (AI) ja masinõppe (ML) laialdasema kasutamisega enamikus tööstusharudes (alates tervishoiust kuni kindlustuseni, tootmisest turustamiseni) nihkub mudelite mastaapsel loomisel ja koolitamisel põhirõhk tõhususele. Skaleeritava ja probleemideta andmeteadusliku keskkonna loomine on võtmetähtsusega. Konkreetse kasutusjuhtumi jaoks kohandatud keskkonna käivitamine ja konfigureerimine võib võtta palju aega ning veelgi keerulisem on kolleegide koostöö kaasamine.

Järgi Accenture, ettevõtted, kes suudavad AI ja ML tõhusalt skaleerida, saavad oma investeeringutelt peaaegu kolmekordse tulu. Sellegipoolest ei saavuta kõik ettevõtted oma AI/ML-teekonnal oma eeldatavat tulu. Infrastruktuuri automatiseerimise tööriistakomplektid muutuvad ettevõttesisese tehisintellekti/ML-i jõupingutuste horisontaalseks skaleerimiseks hädavajalikuks.

AWS Deep Racer on lihtne ja lõbus viis tugevdamisõppega (RL) alustamiseks. See on ML-tehnika, mille puhul agent avastab antud keskkonnas optimaalsed tegevused. Meie puhul oleks see AWS DeepRacer sõiduk, mis üritab rajal kiiresti kihutada. RL-iga saate kiiresti alustada praktiliste õpetuste abil, mis juhendavad teid RL-i mudelite treenimise põhitõdesid ja testivad neid põnevas, autonoomse võidusõidu kogemus.

See postitus näitab, kuidas ettevõtted saavad kasutada infrastruktuuri koodina (IaC). AWS pilvearenduskomplekt (AWS CDK), et kiirendada väga ülekantava infrastruktuuri loomist ja replikatsiooni ning hõlpsalt konkureerida AWS DeepRaceri sündmuste pärast.

„IaC koos hallatava Jupyteri keskkonnaga andis meile mõlemast maailmast parima: korratavad ja hästi ülekantavad andmeteaduslikud keskkonnad, et saaksime oma AWS DeepRaceri konkurentide pardal keskenduda sellele, mida nad kõige paremini teevad: kiirete mudelite kiireks treenimiseks.”

– Selimcan Sakar, AWS DeepRacer SME ettevõttest Accenture.

Lahenduse ülevaade

Kõigi vajalike teenuste korraldamine võtab märkimisväärselt palju aega, kui on vaja luua skaleeritav mall, mida saab rakendada mitmeks kasutusjuhtumiks. Minevikus, AWS CloudFormation nende teenuste loomise automatiseerimiseks on loodud mallid. Tänu automatiseerimise ja üha suureneva abstraktsioonitasemega konfigureerimise edusammudele erinevate keskkondade seadistamiseks IaC tööriistadega on AWS CDK laialdaselt kasutusele võetud erinevates ettevõtetes. AWS CDK on avatud lähtekoodiga tarkvara arendusraamistik teie pilverakenduste ressursside määratlemiseks. See kasutab teie rakenduste modelleerimiseks programmeerimiskeelte tuttavat ja väljendusvõimet, tagades samal ajal ressursse turvalisel ja korrataval viisil.

Selles postituses võimaldame logianalüüsi tegemiseks vajalike erinevate komponentide varustamise Amazon SageMaker AWS DeepRaceris AWS CDK kaudu konstrueerib.

Kuigi DeepRaceri konsoolis olev analüüsigraafik on tõhus ja arusaadav antud preemiate ja saavutatud edu kohta, ei anna see ülevaadet sellest, kui kiiresti auto teekonnapunktides liigub või millist joont auto rajal eelistab. . Siin tuleb mängu täiustatud logianalüüs. Meie täiustatud logianalüüsi eesmärk on tõhustada treeningut tagantjärele, et mõista, millised premeerimisfunktsioonid ja tegevusruumid töötavad mitme mudeli treenimisel teistest paremini ning kas mudel sobib liiga palju, et võistlejad saaksid treenida targemalt ja saavutada paremaid tulemusi vähema treeninguga.

Meie lahendus kirjeldab AWS DeepRaceri keskkonna konfiguratsiooni, kasutades AWS CDK-d, et kiirendada kasutajate teekonda, kes katsetavad SageMakeri logianalüüsi ja AWS-i tugevdamise õppimist AWS DeepRaceri sündmuse jaoks.

Administraator saab käivitada AWS CDK skripti, mis on esitatud failis GitHub repo kaudu AWS-i juhtimiskonsool või terminalis pärast koodi laadimist nende keskkonda. Toimingud on järgmised.

1. avatud AWSi pilv konsoolil.
2. Laadige GitHubist AWS CDK moodul AWS Cloud9 keskkonda.
3. Seadistage AWS CDK moodul, nagu selles postituses kirjeldatud.
4. Avage fail cdk.context.json ja kontrollige kõiki parameetreid.
5. Muutke parameetreid vastavalt vajadusele ja käivitage AWS CDK käsk koos ettenähtud isikuga, et käivitada sellele isikule sobiv konfigureeritud keskkond.

Järgnev diagramm illustreerib lahenduse arhitektuuri.

AWS-i CDK abil saame hallata oma varustatud ressursse ja omada väga transporditavat keskkonda, mis järgib ettevõtte tasemel parimaid tavasid.

Eeldused

ML-keskkondade AWS CDK-ga varustamiseks täitke järgmised eeltingimused.

1. Teil on juurdepääs AWS-i kontole ja õigused piirkonnas, et juurutada erinevatele isikutele vajalikke ressursse. Veenduge, et teil oleks AWS CDK virna oma kontole juurutamiseks mandaadid ja load.
2. Soovitame järgida teatud parimaid tavasid, mis on esile tõstetud järgmistes ressurssides üksikasjalikult kirjeldatud kontseptsioonide kaudu.
3. Kloonige GitHub repo oma keskkonda.

Juurutage portfell oma kontole

Selles juurutuses kasutame AWS Cloud9 andmeteaduse keskkonna loomiseks AWS CDK abil.

1. Navigeerige AWS Cloud9 konsooli.
2. Määrake oma keskkonna tüüp, eksemplari tüüp ja platvorm.

3. Täpsustage oma AWS-i identiteedi- ja juurdepääsuhaldus (IAM) roll, VPC ja alamvõrk.

4. Looge oma AWS Cloud9 keskkonnas uus kaust nimega DeepRacer.
5. Käivitage AWS CDK installimiseks järgmine käsk ja veenduge, et teil on portfelli juurutamiseks õiged sõltuvused:

npm install -g aws-cdk

6. AWS CDK installimise kontrollimiseks ja dokumentidele juurdepääsu saamiseks käivitage terminalis järgmine käsk (see peaks teid suunama AWS CDK dokumentatsiooni):

7. Nüüd saame AWS DeepRaceri hoidla kloonida GitHub.
8. Avage AWS Cloud9 kloonitud repo:

cd DeepRacer_cdk

Kui olete jaotises oleva sisu üle vaadanud DeepRacer_cdk kataloogis kuvatakse fail nimega package.json koos kõigi vajalike moodulite ja sõltuvustega. Siin saate moodulis oma ressursid määratleda.

9. Järgmisena installige kõik AWS CDK rakenduse jaoks vajalikud moodulid ja sõltuvused.

npm install cdk synth

See sünteesib vastava CloudFormationi malli.

10. Juurutamise käivitamiseks muutke faili kontekst.json parameetrite nimedega või määrake need käitusajal selgesõnaliselt:

cdk deploy

AWS DeepRaceri logianalüüsi jaoks luuakse skripti käitamise põhjal järgmised komponendid:

• An IAM roll hallatava poliitikaga SageMakeri sülearvuti jaoks
• A SageMakeri märkmiku eksemplar eksemplari tüübiga, mis on otseselt lisatud cdk kontekstiparameetrina või failis context.json salvestatud vaikeväärtus
• VPC koos CIDR-iga, nagu on täpsustatud failis context.json, ja neli konfigureeritud avalikku alamvõrku
• Sagemakeri sülearvuti eksemplari uus turberühm, mis võimaldab VPC-s suhelda
• SageMakeri elutsükli poliitika bash-skriptiga, mis laadib eellaadimise teise skripti sisu GitHubi hoidla, mis sisaldab faile, mida kasutame AWS DeepRaceri mudelite logianalüüsi käitamiseks

11. AWS CDK virna saate käitada järgmiselt.

$ cdk deploy

12. Ressursside kontrollimiseks minge AWS CloudFormationi konsooli piirkonnas, kus virn on juurutatud.

Nüüd saavad kasutajad hakata neid teenuseid kasutama, et töötada koos logianalüüsi ja põhjaliku RL-mudeli koolitusega rakenduses SageMaker for AWS DeepRacer.

Mooduli testimine

Enne virna juurutamist saate käivitada ka mõned üksusetestid, et kontrollida, kas te ei eemaldanud kogemata ühtegi nõutavat ressurssi. Ühikutestid asuvad DeepRacer/test/deep_racer.test.ts ja seda saab käivitada järgmise koodiga:

npm run test

Genereeri diagramme kasutades cdk-dia

Diagrammide loomiseks toimige järgmiselt.

1. paigaldama graphviz kasutades oma operatsioonisüsteemi tööriistu:

npm -g cdk-dia

See installib rakenduse cdk-dia.

2. Nüüd käivitage järgmine kood:

Teie AWS CDK virna graafiline esitus salvestatakse .png-vormingus.

Pärast eelmiste toimingute sooritamist peaksite nägema märkmiku eksemplari loomise protsessi koos olekuga kuni. Kui märkmiku eksemplari olek on Teenuses (nagu on näidatud järgmisel ekraanipildil), võite jätkata järgmiste sammudega.

3. Vali Avage Jupyter Pythoni skripti käivitamiseks logianalüüsi tegemiseks.

Lisateavet logianalüüsi kohta AWS DeepRaceri ja sellega seotud visualiseerimiste kohta leiate aadressilt Logianalüüsi kasutamine katsete juhtimiseks ja AWS DeepRacer F1 ProAm Race'i võitmiseks.

Koristage

Pidevate tasude vältimiseks toimige järgmiselt.

1. Kasutage AWS CDK kaudu loodud ressursside kustutamiseks cdk delete.
2. Kustutage AWS CloudFormationi konsoolis CloudFormationi virn.

Järeldus

AWS DeepRaceri üritused on suurepärane viis huvi tekitamiseks ja ML-teadmiste suurendamiseks organisatsiooni kõikidel sammastel ja tasanditel. Selles postituses jagasime, kuidas saate konfigureerida dünaamilist AWS DeepRacer keskkonda ja seadistada selektiivseid teenuseid, et kiirendada kasutajate teekonda AWS-i platvormil. Arutasime, kuidas luua teenuseid Amazon SageMaker Notebook Instance, IAM-i rolle, SageMakeri sülearvuti elutsükli konfiguratsiooni koos parimate tavadega, VPC-d ja Amazon Elastic Compute Cloud (Amazon EC2) eksemplarid, mis põhinevad konteksti tuvastamisel AWS CDK abil ja erinevate kasutajate skaleerimisel AWS DeepRaceri abil.

Konfigureerige CDK keskkond ja käivitage täiustatud logianalüüsi märkmik, et tõhustada mooduli käitamist. Aidake võidusõitjatel saavutada paremaid tulemusi lühema ajaga ja saada üksikasjalikku teavet premeerimisfunktsioonide ja tegevuse kohta.

viited

Lisateavet leiate järgmistest ressurssidest:

1. Automatiseerige Amazon SageMaker Studio seadistamine AWS CDK abil
2. AWS SageMaker CDK API viide

Autoritest

 Zdenko Estok töötab Accenture'is pilvearhitekti ja DevOpsi insenerina. Ta teeb koostööd AABG-ga uuenduslike pilvelahenduste väljatöötamiseks ja juurutamiseks ning on spetsialiseerunud infrastruktuurile, nagu kood ja pilveturve. Zdenkole meeldib rattaga kontorisse sõita ja ta naudib mõnusaid jalutuskäike looduses.

Selimcan "Can" Sakar on Accenture'i pilve esmane arendaja ja lahenduste arhitekt, kes keskendub tehisintellektile ja kirg mudelite lähenemise jälgimise vastu.

Shikhar Kwatra on AI/ML-i spetsialiseerunud lahenduste arhitekt ettevõttes Amazon Web Services, kes teeb koostööd juhtiva globaalse süsteemiintegraatoriga. Shikhar abistab organisatsiooni kuluefektiivsete, skaleeritavate pilvekeskkondade kujundamisel, ehitamisel ja hooldamisel ning toetab GSI partnerit AWS-is strateegiliste tööstuslahenduste loomisel. Shikharile meeldib vabal ajal kitarri mängida, muusikat komponeerida ja tähelepanelikkust harjutada.

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• Platoblockchain. Web3 metaversiooni intelligentsus. Täiustatud teadmised. Juurdepääs siia.
• Allikas: https://aws.amazon.com/blogs/machine-learning/configure-an-aws-deepracer-environment-for-training-and-log-analysis-using-the-aws-cdk/