Z veseljem oznanjamo dve novi zmogljivosti v Amazon SageMaker Studio ki bo pospešil iterativni razvoj za izvajalce strojnega učenja (ML): lokalni način in podpora za Docker. Razvoj modela ML pogosto vključuje počasne iteracijske cikle, ko razvijalci preklapljajo med kodiranjem, usposabljanjem in uvajanjem. Vsak korak zahteva čakanje na zagon oddaljenih računalniških virov, kar zamuja pri preverjanju implementacij in pridobivanju povratnih informacij o spremembah.

Z lokalnim načinom lahko razvijalci zdaj usposabljajo in testirajo modele, odpravljajo napake v kodi in preverjajo cevovode od konca do konca neposredno na svojem primerku prenosnega računalnika SageMaker Studio brez potrebe po vrtenju oddaljenih računalniških virov. To skrajša cikel ponavljanja z minut na sekunde, s čimer se poveča produktivnost razvijalcev. Podpora za Docker v prenosnikih SageMaker Studio omogoča razvijalcem, da brez truda zgradijo vsebnike Docker in dostopajo do vnaprej zgrajenih vsebnikov, kar zagotavlja dosledno razvojno okolje v celotni ekipi in se izogne ​​zamudni nastavitvi in ​​upravljanju odvisnosti.

Podpora za lokalni način in Docker ponujata poenostavljen potek dela za preverjanje sprememb kode in izdelavo prototipov modelov z uporabo lokalnih vsebnikov, ki se izvajajo v prenosnem računalniku SageMaker Studio

primerek. V tej objavi vas vodimo skozi nastavitev lokalnega načina v SageMaker Studio, izvajanje vzorčnega usposabljanja in uvajanje modela na Amazon SageMaker končno točko iz prenosnega računalnika SageMaker Studio.

Lokalni način SageMaker Studio

SageMaker Studio uvaja lokalni način, ki vam omogoča zagon SageMaker usposabljanja, sklepanja, paketnega preoblikovanja in obdelave opravil neposredno na vaših instancah prenosnika JupyterLab, Code Editor ali SageMaker Studio Classic brez potrebe po oddaljenih računalniških virih. Prednosti uporabe lokalnega načina vključujejo:

• Takojšnja validacija in testiranje delovnih tokov neposredno znotraj integriranih razvojnih okolij (IDE)
• Hitrejša iteracija prek lokalnih izvajanj za opravila manjšega obsega za pregled rezultatov in zgodnje odkrivanje težav
• Izboljšana učinkovitost razvoja in odpravljanja napak z odpravo čakanja na oddaljena usposabljanja
• Takojšnje povratne informacije o spremembah kode pred izvajanjem vseh opravil v oblaku

Naslednja slika prikazuje potek dela z uporabo lokalnega načina v SageMakerju.

Za uporabo lokalnega načina nastavite instance_type='local' pri izvajanju opravil SDK SageMaker Python, kot sta usposabljanje in sklepanje. To jih bo zagnalo na instancah, ki jih uporabljajo vaši IDE-ji SageMaker Studio, namesto da bi zagotovili vire v oblaku.

Čeprav so določene zmogljivosti, kot je porazdeljeno usposabljanje, na voljo le v oblaku, lokalni način odpravlja potrebo po preklapljanju kontekstov za hitre iteracije. Ko ste pripravljeni izkoristiti polno moč in obseg SageMakerja, lahko nemoteno izvajate potek dela v oblaku.

Podpora za Docker v SageMaker Studio

SageMaker Studio zdaj omogoča tudi gradnjo in izvajanje vsebnikov Docker lokalno na vaši instanci prenosnega računalnika SageMaker Studio. Ta nova funkcija vam omogoča, da zgradite in potrdite slike Docker v SageMaker Studio, preden jih uporabite za usposabljanje in sklepanje SageMaker.

Naslednji diagram ponazarja visokonivojsko arhitekturo orkestracije Docker znotraj SageMaker Studio.

S podporo za Docker v SageMaker Studio lahko:

• Zgradite vsebnike Docker z integriranimi modeli in odvisnostmi neposredno v SageMaker Studio
• Odpravite potrebo po zunanjih procesih gradnje Dockerja za poenostavitev ustvarjanja slike
• Zaženite vsebnike lokalno, da preverite funkcionalnost, preden uvedete modele v proizvodnjo
• Ponovno uporabite lokalne vsebnike pri uvajanju v SageMaker za usposabljanje in gostovanje

Čeprav nekatere napredne zmogljivosti Dockerja, kot so omrežja z več vsebniki in omrežja po meri, od tega pisanja niso podprte, je osnovna funkcija gradnje in izvajanja na voljo za pospešitev razvijanja vsebnikov za delovne poteke prinašanja lastnih vsebnikov (BYOC).

Predpogoji

Če želite uporabljati lokalni način v aplikacijah SageMaker Studio, morate izpolniti naslednje predpogoje:

• Za črpanje slik iz Registar elastičnih zabojnikov Amazon (Amazon ECR), mora račun, ki gosti sliko ECR, uporabniku zagotoviti dovoljenje za dostop Identiteta in dostop upravljanje (IAM) vlogo. Vloga domene mora omogočati tudi dostop Amazon ECR.
• Če želite omogočiti lokalni način in zmogljivosti Docker, morate nastaviti EnableDockerAccess parameter na true za domene DockerSettings uporabi Vmesnik ukazne vrstice AWS (AWS CLI). To uporabnikom v domeni omogoča uporabo lokalnega načina in funkcij Docker. Lokalni način in Docker sta privzeto onemogočena v SageMaker Studio. Vse obstoječe aplikacije SageMaker Studio bo treba znova zagnati, da bo posodobitev storitve Docker začela veljati. Sledi primer ukaza AWS CLI za posodobitev domene SageMaker Studio:

aws sagemaker --region <REGION> 
update-domain --domain-id <DOMAIN-ID> 
--domain-settings-for-update '{"DockerSettings": {"EnableDockerAccess": "ENABLED"}}'

• Če želite to narediti, morate posodobiti vlogo SageMaker IAM push Docker slike na Amazon ECR:

{
  "Version": "2012-10-17",
  "Statement": [
    {
      "Effect": "Allow",
      "Action": [
        "ecr:CompleteLayerUpload",
        "ecr:UploadLayerPart",
        "ecr:InitiateLayerUpload",
        "ecr:BatchCheckLayerAvailability",
        "ecr:PutImage"
      ],
      "Resource": "arn:aws:ecr:us-east-2:123456789012:repository/<repositoryname>"
    },
    {
      "Effect": "Allow",
      "Action": "ecr:GetAuthorizationToken",
      "Resource": "*"
    }
  ]
}

Zaženite datoteke Python v prostorih SageMaker Studio z uporabo lokalnega načina

SageMaker Studio JupyterLab in urejevalnik kod (na podlagi Code-OSS, koda Visual Studio – odprta koda), razširja SageMaker Studio, tako da lahko pišete, testirate, odpravljate napake in izvajate svojo analitiko in kodo ML z uporabo priljubljenega lahkega IDE. Za več podrobnosti o tem, kako začeti uporabljati SageMaker Studio IDE, glejte Povečajte produktivnost v studiu Amazon SageMaker: Predstavljamo JupyterLab Spaces in generativna orodja AI in Novo – Urejevalnik kode, ki temelji na kodi Code-OSS VS Code Open Source, je zdaj na voljo v Amazon SageMaker Studio. Izvedite naslednje korake:

• Ustvari nov terminal. 
• Namestite vtičnik Docker CLI in Docker Compose po naslednjih navodilih GitHub repo. Če verižni ukazi ne uspejo, zaženite ukaze enega za drugim.

SDK SageMaker morate posodobiti na najnovejšo različico.

• Run pip install sagemaker -Uq v terminalu.

Samo za urejevalnik kode morate okolje Python nastaviti za izvajanje v trenutnem terminalu.

• V urejevalniku kode na meni datoteka¸ izberite Preferences in Nastavitve.

• Poiščite in izberite Terminal: Izvedi v File Dir.

• V urejevalniku kode ali JupyterLab odprite scikit_learn_script_mode_local_training_and_serving mapo in zaženite scikit_learn_script_mode_local_training_and_serving.py Datoteka.

Skript lahko zaženete tako, da izberete Run v urejevalniku kode ali z uporabo CLI v terminalu JupyterLab. Videli boste lahko, kako je model usposobljen lokalno. Nato lokalno razmestite model na končno točko SageMaker in izračunate koren srednje kvadratne napake (RMSE).

Simulirajte usposabljanje in sklepanje v SageMaker Studio Classic z uporabo lokalnega načina

V programu SageMaker Studio Classic lahko uporabite tudi prenosni računalnik za izvajanje manjšega usposabljanja CIFAR10 z uporabo lokalnega načina, lokalno razmestite model in izvedite sklepanje.

Nastavite svoj prenosni računalnik

Če želite nastaviti prenosni računalnik, izvedite naslednje korake:

• Odprite SageMaker Studio Classic in klonirajte naslednje GitHub repo.

• odprite pytorch_local_mode_cifar10.ipynb notebook in blog/pytorch_cnn_cifar10.

• za Image, izberite PyTorch 2.1.0 Python 3.10 CPU Optimized.

Prepričajte se, da vaš prenosni računalnik prikazuje pravilno izbiro primerka in jedra.

• Odprite terminal z izbiro Zaženi terminal v trenutni sliki SageMaker.

• Namestite vtičnik Docker CLI in Docker Compose po naslednjih navodilih GitHub repo.

Ker uporabljate Docker iz SageMaker Studio Classic, odstranite sudo pri izvajanju ukazov, ker se terminal že izvaja pod superuporabnikom. Za SageMaker Studio Classic so namestitveni ukazi odvisni od OS slike aplikacije SageMaker Studio. Na primer, okvirne slike, ki temeljijo na DLC, temeljijo na Ubuntuju, v katerem bi naslednja navodila delovala. Vendar pa morate za sliko, ki temelji na Debianu, kot je DataScience Images, upoštevati naslednja navodila GitHub repo. Če verižni ukazi ne uspejo, zaženite ukaze enega za drugim. Morali bi videti prikazano različico Dockerja.

• Pustite okno terminala odprto, pojdite nazaj v zvezek in ga začnite izvajati celico za celico.

Ne pozabite zagnati celice z pip install -U sagemaker torej uporabljate najnovejšo različico SDK-ja SageMaker Python.

Lokalno usposabljanje

Ko začnete izvajati lokalno izobraževalno opravilo SageMaker, boste videli naslednje vrstice dnevnika:

INFO:sagemaker.local.image:'Docker Compose' found using Docker CLI.
INFO:sagemaker.local.local_session:Starting training job

To pomeni, da je usposabljanje potekalo lokalno z uporabo Dockerja.

Bodite potrpežljivi, medtem ko pytorch-training:2.1-cpu-py310 Dockerjeva slika je potegnjena. Zaradi velike velikosti (5.2 GB) lahko traja nekaj minut.

Docker slike bodo shranjene v korenskem nosilcu instance aplikacije SageMaker Studio, ki končnim uporabnikom ni dostopen. Edini način za dostop in interakcijo s slikami Docker je prek izpostavljenih operacij API-ja Docker.

S stališča zaupnosti uporabnika platforma SageMaker Studio nikoli ne dostopa do uporabniško specifičnih slik ali jih shrani.

Ko je usposabljanje končano, boste lahko videli naslednje vrstice dnevnika uspeha:

8zlz1zbfta-sagemaker-local exited with code 0
Aborting on container exit...
Container 8zlz1zbfta-sagemaker-local  Stopping
Container 8zlz1zbfta-sagemaker-local  Stopped
INFO:sagemaker.local.image:===== Job Complete =====

Lokalno sklepanje

Izvedite naslednje korake:

• Razmestite končno točko SageMaker v lokalnem načinu SageMaker.

Bodite potrpežljivi, medtem ko pytorch-inference:2.1-cpu-py310 Dockerjeva slika je potegnjena. Zaradi velike velikosti (4.32 GB) lahko traja nekaj minut.

• Prikličite končno točko SageMaker, ki je nameščena lokalno z uporabo preskusnih slik.

Videli boste lahko predvidene razrede: žaba, ladja, avto in letalo:

Predicted:  frog ship  car plane

• Ker lokalna končna točka SageMaker še vedno deluje, se pomaknite nazaj do odprtega okna terminala in navedite delujoče vsebnike:

docker ps

Lahko boste videli tek pytorch-inference:2.1-cpu-py310 vsebnik, ki podpira končno točko SageMaker.

• Če želite zaustaviti lokalno končno točko SageMaker in ustaviti tekoči vsebnik, ker lahko naenkrat izvajate samo eno lokalno končno točko, zaženite kodo za čiščenje.

• Če želite zagotoviti, da vsebnik Docker ne deluje, se lahko pomaknete do odprtega okna terminala, zaženete docker ps in se prepričate, da ni nobenih vsebnikov, ki se izvajajo.
• Če vidite posodo, ki teče, tecite docker stop <CONTAINER_ID> da se ustavi.

Nasveti za uporabo lokalnega načina SageMaker

Če SageMaker uporabljate prvič, glejte Usposabljanje modelov strojnega učenja. Če želite izvedeti več o uvajanju modelov za sklepanje s SageMakerjem, glejte Razporedite modele za sklepanje.

Upoštevajte naslednja priporočila:

• Natisnite vhodne in izhodne datoteke in mape za razumevanje nalaganja nabora podatkov in modela
• Za hitro testiranje uporabite 1–2 epohi in majhne nabore podatkov
• Vnaprej namestite odvisnosti v datoteki Dockerfile za optimizacijo nastavitve okolja
• Izolirajte serializacijsko kodo v končnih točkah za odpravljanje napak

Namestitev Dockerja konfigurirajte kot konfiguracijo življenjskega cikla

Postopek namestitve Dockerja lahko definirate kot skript za konfiguracijo življenjskega cikla (LCC), da poenostavite nastavitev vsakič, ko se zažene nov prostor SageMaker Studio. LCC so skripti, ki jih SageMaker izvaja med dogodki, kot je ustvarjanje prostora. Glejte na jupyter lab, Urejevalnik kodali SageMaker Studio Classic Nastavitev LCC (z uporabo docker install cli kot referenca), če želite izvedeti več.

Zgradite in preizkusite slike Docker po meri v prostorih SageMaker Studio

V tem koraku namestite Docker v prostor aplikacije JupyterLab (ali urejevalnik kode) in uporabite Docker za gradnjo, testiranje in objavo slik Docker po meri s prostori SageMaker Studio. Prostori se uporabljajo za upravljanje potreb po pomnilniku in virih nekaterih aplikacij SageMaker Studio. Vsak prostor ima razmerje 1:1 s primerkom aplikacije. Vsaka ustvarjena podprta aplikacija dobi svoj prostor. Če želite izvedeti več o prostorih SageMaker, glejte Povečajte produktivnost v studiu Amazon SageMaker: Predstavljamo JupyterLab Spaces in generativna orodja AI. Prepričajte se, da ste zagotovili nov prostor z vsaj 30 GB prostora za shranjevanje, da omogočite dovolj prostora za shranjevanje Dockerjevih slik in artefaktov.

Namestite Docker znotraj prostora

Če želite namestiti vtičnik Docker CLI in Docker Compose znotraj prostora JupyterLab, zaženite naslednje ukaze GitHub repo. Studio SageMaker podpira samo Docker različico 20.10.X.

Zgradite slike Docker

Če želite potrditi, da je Docker nameščen in deluje v vašem prostoru JupyterLab, zaženite to kodo:

# to verify docker service
sagemaker-user@default:~$ docker version
Client: Docker Engine - Community
Version:           24.0.7
API version:       1.41 (downgraded from 1.43)
Go version:        go1.20.10
Git commit:        afdd53b
Built:             Thu Oct 26 09:07:41 2023
OS/Arch:           linux/amd64
Context:           default

Server:
Engine:
Version:          20.10.25
API version:      1.41 (minimum version 1.12)
Go version:       go1.20.10
Git commit:       5df983c
Built:            Fri Oct 13 22:46:59 2023
OS/Arch:          linux/amd64
Experimental:     false
containerd:
Version:          1.7.2
GitCommit:        0cae528dd6cb557f7201036e9f43420650207b58
runc:
Version:          1.1.7
GitCommit:        f19387a6bec4944c770f7668ab51c4348d9c2f38
docker-init:
Version:          0.19.0
GitCommit:        de40ad0

Če želite zgraditi sliko Docker po meri znotraj prostora JupyterLab (ali urejevalnika kode), dokončajte naslednje korake:

• Ustvarite prazno datoteko Docker:

touch Dockerfile

• Uredite datoteko Docker z naslednjimi ukazi, ki ustvarijo preprosto sliko spletnega strežnika flask iz osnovne slike python:3.10.13-bullseye, ki gostuje na Dock pesto:

# Use the specified Python base image
FROM python:3.10.13-bullseye

# Create a code dir
RUN mkdir /code/

# Set the working directory in the container
WORKDIR /code

# Upgrade pip and install required packages
RUN python3 -m pip install --upgrade pip && 
python3 -m pip install flask

# Copy the app.py file to the container
COPY app.py /code/

# Set the command to run the app
ENTRYPOINT ["python", "app.py"]

Naslednja koda prikazuje vsebino vzorčne datoteke aplikacije bučke app.py:

from flask import Flask, jsonify

app = Flask(__name__)

@app.route('/')
def hello():
return jsonify({"response": "Hello"})

if __name__ == '__main__':
app.run(host='0.0.0.0', port=6006)

Poleg tega lahko posodobite referenčne ukaze Dockerfile, da vključujejo pakete in artefakte po vaši izbiri.

• Zgradite sliko Docker z referenčno datoteko Docker:

docker build --network sagemaker --tag myflaskapp:v1 --file ./Dockerfile .

vključi --network sagemaker v vašem ukazu za izgradnjo dockerja, sicer izgradnja ne bo uspela. Vsebnikov ni mogoče izvajati v privzetem mostu Docker ali omrežjih Docker po meri. Vsebniki se izvajajo v istem omrežju kot vsebnik aplikacij SageMaker Studio. Uporabniki lahko za ime omrežja uporabljajo samo sagemaker.

• Ko je vaša gradnja končana, preverite, ali slika obstaja. Ponovno označite gradnjo kot sliko ECR in potisnite. Če naletite na težave z dovoljenji, zaženite ukaz aws ecr get-login-password… in poskusite znova zagnati Docker push/pull:

sagemaker-user@default:~$ docker image list
REPOSITORY      TAG       IMAGE ID       CREATED          SIZE
myflaskapp      v1        d623f1538f20   27 minutes ago   489MB

sagemaker-user@default:~$ docker tag myflaskapp:v1 123456789012.dkr.ecr.us-east-2.amazonaws.com/myflaskapp:v1

sagemaker-user@default:~$ docker image list
REPOSITORY                                                  TAG       IMAGE ID       CREATED          SIZE
123456789012.dkr.ecr.us-east-2.amazonaws.com/myflaskapp     latest    d623f1538f20   27 minutes ago   489MB
myflaskapp                                                  v1        d623f1538f20   27 minutes ago   489MB

sagemaker-user@default:~$ aws ecr get-login-password --region region | docker login --username AWS --password-stdin aws_account_id.dkr.ecr.region.amazonaws.com

sagemaker-user@default:~$ docker push 123456789012.dkr.ecr.us-east-2.amazonaws.com/myflaskapp:latest

Preizkusite Dockerjeve slike

Če imate Docker nameščen znotraj prostora SageMaker Studio JupyterLab (ali urejevalnika kode), lahko preizkusite vnaprej zgrajene ali prilagojene slike Docker kot vsebnike (ali aplikacije v vsebnikih). V tem razdelku uporabljamo ukaz za zagon dockerja za zagotavljanje vsebnikov Docker znotraj prostora SageMaker Studio za testiranje delovnih obremenitev v vsebnikih, kot so spletne storitve REST in skripti Python. Izvedite naslednje korake:

sagemaker-user@default:~$ docker image list
REPOSITORY                                                  TAG       IMAGE ID       CREATED       SIZE

• Če preskusna slika ne obstaja, zaženite docker pull, da povlečete sliko v svoj lokalni računalnik:

sagemaker-user@default:~$ docker pull 123456789012.dkr.ecr.us-east-2.amazonaws.com/myflaskapp:v1

• Če naletite na težave s preverjanjem pristnosti, zaženite naslednje ukaze:

aws ecr get-login-password --region region | docker login --username AWS --password-stdin aws_account_id.dkr.ecr.region.amazonaws.com

• Ustvarite vsebnik za testiranje svoje delovne obremenitve:

docker run --network sagemaker 123456789012.dkr.ecr.us-east-2.amazonaws.com/myflaskapp:v1

To zavrti nov primerek vsebnika in zažene aplikacijo, definirano z uporabo Dockerjeve ENTRYPOINT:

sagemaker-user@default:~$ docker run --network sagemaker 905418447590.dkr.ecr.us-east-2.amazonaws.com/myflaskapp:v1
* Serving Flask app 'app'
* Debug mode: off
WARNING: This is a development server. Do not use it in a production deployment. Use a production WSGI server instead.
* Running on all addresses (0.0.0.0)
* Running on http://127.0.0.1:6006
* Running on http://169.255.255.2:6006

• Če želite preveriti, ali je vaša spletna končna točka aktivna, pojdite na URL https://<sagemaker-space-id>.studio.us-east-2.sagemaker.aws/jupyterlab/default/proxy/6006/.

Morali bi videti odgovor JSON, podoben naslednjemu posnetku zaslona.

Čiščenje

Da se izognete nepotrebnim stroškom, izbrišite vire, ki ste jih ustvarili med izvajanjem primerov v tej objavi:

1. V svoji domeni SageMaker Studio izberite Studio Classic v podoknu za krmarjenje in nato izberite stop.
2. V svoji domeni SageMaker Studio izberite jupyter lab or Urejevalnik kod v podoknu za krmarjenje izberite svojo aplikacijo in nato izberite stop.

zaključek

Lokalni način SageMaker Studio in podpora Docker omogočata razvijalcem, da hitreje gradijo, testirajo in ponavljajo implementacije ML, ne da bi zapustili svoj delovni prostor. Z zagotavljanjem takojšnjega dostopa do testnih okolij in rezultatov te zmogljivosti optimizirajo delovne tokove in izboljšajo produktivnost. Preizkusite lokalno podporo za SageMaker Studio in Docker z uporabo našega funkcija hitrega vklopa, ki vam omogoča, da v nekaj minutah ustvarite novo domeno za posamezne uporabnike. Delite svoje misli v oddelku za komentarje!

O avtorjih

Shweta Singh je višji produktni vodja v skupini platforme Amazon SageMaker Machine Learning (ML) pri AWS, vodi SDK za SageMaker Python. Več kot 5 let je delala v več produktnih vlogah v Amazonu. Ima diplomo iz računalništva in magisterij iz finančnega inženiringa, oboje z Univerze v New Yorku

Eitan Sela je generativni arhitekt za rešitve za umetno inteligenco in strojno učenje v AWS. Sodeluje s strankami AWS pri zagotavljanju smernic in tehnične pomoči ter jim pomaga zgraditi in upravljati rešitve Generative AI in Machine Learning na AWS. V prostem času Eitan rad teče in bere najnovejše članke o strojnem učenju.

Pranav Murthy je specialist za rešitve AI/ML pri AWS. Osredotoča se na pomoč strankam pri gradnji, usposabljanju, uvajanju in selitvi delovnih obremenitev strojnega učenja (ML) v SageMaker. Pred tem je delal v industriji polprevodnikov in razvijal modele velikega računalniškega vida (CV) in obdelave naravnega jezika (NLP) za izboljšanje polprevodniških procesov z uporabo najsodobnejših tehnik ML. V prostem času rad igra šah in potuje. Pranav najdete na LinkedIn.

Mufaddal Rohawala je programski inženir pri AWS. Dela na knjižnici SDK SageMaker Python za Amazon SageMaker. V prostem času uživa v potovanjih, dejavnostih na prostem in je ljubitelj nogometa.

• Distribucija vsebine in PR s pomočjo SEO. Okrepite se še danes.
• PlatoData.Network Vertical Generative Ai. Opolnomočite se. Dostopite tukaj.
• PlatoAiStream. Web3 Intelligence. Razširjeno znanje. Dostopite tukaj.
• PlatoESG. Ogljik, CleanTech, Energija, Okolje, sončna energija, Ravnanje z odpadki. Dostopite tukaj.
• PlatoHealth. Obveščanje o biotehnologiji in kliničnih preskušanjih. Dostopite tukaj.
• vir: https://aws.amazon.com/blogs/machine-learning/accelerate-ml-workflows-with-amazon-sagemaker-studio-local-mode-and-docker-support/