Amazon SageMaker HyperPod er sérsmíðað til að flýta fyrir grunnlíkanþjálfun (FM) og fjarlægja óaðgreindar þungar lyftingar sem taka þátt í stjórnun og hagræðingu á stórum þjálfunartölvuklasa. Með SageMaker HyperPod geturðu þjálfað FM í margar vikur og mánuði án truflana.
Venjulega eru HyperPod klasar notaðir af mörgum notendum: rannsakendum vélanáms (ML), hugbúnaðarverkfræðingum, gagnafræðingum og klasastjórnendum. Þeir breyta eigin skrám, reka sín eigin störf og vilja forðast að hafa áhrif á vinnu hvers annars. Til að ná þessu fjölnotendaumhverfi geturðu nýtt þér notenda- og hópkerfi Linux og búið til marga notendur á kyrrstöðu í hverju tilviki í gegnum líftímaforskriftir. Gallinn við þessa nálgun er hins vegar sá að notenda- og hópstillingar eru afritaðar yfir mörg tilvik í þyrpingunni, sem gerir það erfitt að stilla þær stöðugt í öllum tilvikum, svo sem þegar nýr liðsmaður gengur til liðs.
Til að leysa þennan sársaukapunkt getum við notað Lightweight Directory Access Protocol (LDAP) og LDAP yfir TLS/SSL (LDAPS) að samþætta við símaskrárþjónustu eins og AWS Directory Service fyrir Microsoft Active Directory. Með skráarþjónustunni geturðu miðlægt viðhaldið notendum og hópum og heimildum þeirra.
Í þessari færslu kynnum við lausn til að samþætta HyperPod klasa við AWS Stýrður Microsoft AD, og útskýrum hvernig á að ná fram óaðfinnanlegu fjölnotenda innskráningarumhverfi með miðlægri möppu.
Lausn yfirlit
Lausnin notar eftirfarandi AWS þjónustu og auðlindir:
Við notum líka AWS CloudFormation að setja upp stafla til að búa til forsendur fyrir HyperPod klasann: VPC, undirnet, öryggishóp og Amazon FSx fyrir Luster bindi.
Eftirfarandi skýringarmynd sýnir háþróaða lausnararkitektúrinn.
Í þessari lausn nota HyperPod klasatilvik LDAPS-samskiptareglur til að tengjast AWS-stýrðu Microsoft AD í gegnum NLB. Við notum TLS uppsögn með því að setja upp skírteini í NLB. Til að stilla LDAPS í HyperPod klasatilvikum, setur lífsferilshandritið upp og stillir System Security Services Daemon (SSSD)— opinn hugbúnaður fyrir biðlara fyrir LDAP/LDAPS.
Forkröfur
Þessi færsla gerir ráð fyrir að þú vitir nú þegar hvernig á að búa til grunn HyperPod þyrping án SSSD. Fyrir frekari upplýsingar um hvernig á að búa til HyperPod klasa, sjá Byrjaðu með SageMaker HyperPod og HyperPod verkstæði.
Einnig, í uppsetningarskrefunum, muntu nota Linux vél til að búa til sjálfstætt undirritað vottorð og fá óljóst lykilorð fyrir AD-lesara notandann. Ef þú ert ekki með Linux vél geturðu búið til EC2 Linux dæmi eða notað AWS CloudShell.
Búðu til VPC, undirnet og öryggishóp
Fylgdu leiðbeiningunum í Eigin reikningur hluta HyperPod verkstæðisins. Þú munt setja upp CloudFormation stafla og búa til nauðsynleg auðlindir eins og VPC, undirnet, öryggishóp og FSx fyrir Luster bindi. Þú þarft að búa til bæði aðalundirnet og varaundirnet þegar þú setur upp CloudFormation stafla, vegna þess að AWS Managed Microsoft AD krefst að minnsta kosti tveggja undirneta með mismunandi framboðssvæðum.
Í þessari færslu, til einföldunar, notum við sama VPC, undirnet og öryggishóp fyrir bæði HyperPod þyrpinguna og skráarþjónustuna. Ef þú þarft að nota mismunandi net á milli þyrpingarinnar og skráaþjónustunnar skaltu ganga úr skugga um að öryggishópar og leiðartöflur séu stilltar þannig að þeir geti haft samskipti sín á milli.
Búðu til AWS-stýrt Microsoft AD á skráarþjónustu
Ljúktu við eftirfarandi skref til að setja upp möppuna þína:
- Á vefsíðu Stjórnborð skráaþjónustu, velja Möppur í siglingarúðunni.
- Veldu Settu upp möppu.
- fyrir Tegund möppuvelja AWS stýrði Microsoft AD.
- Veldu Næstu.
- fyrir Útgáfavelja Standard Edition.
- fyrir DNS nafn skráar, sláðu inn valið DNS nafn möppu (til dæmis,
hyperpod.abc123.com
). - fyrir Admin lykilorð¸ stilltu lykilorð og vistaðu það til síðari nota.
- Veldu Næstu.
- Í net kafla, tilgreindu VPC og tvö einka undirnet sem þú bjóst til.
- Veldu Næstu.
- Skoðaðu stillingar og verð, veldu síðan Búðu til möppu.
Möppugerðin hefst. Bíddu þar til staðan breytist frá búa til til Virk, sem getur tekið 20–30 mínútur. - Þegar staðan breytist í Virk, opnaðu upplýsingasíðu möppunnar og taktu eftir DNS vistföngunum til notkunar síðar.
Búðu til NLB fyrir framan Directory Service
Til að búa til NLB skaltu ljúka eftirfarandi skrefum:
- Á vefsíðu Amazon EC2 leikjatölva, velja Markhópar í siglingarúðunni.
- Veldu Búa til markhópa.
- Búðu til markhóp með eftirfarandi breytum:
- fyrir Veldu marktegundvelja IP tölur.
- fyrir Nafn markhóps, koma inn
LDAP
. - fyrir Bókun: Höfn, velja TCP og sláðu inn
389
. - fyrir Tegund IP töluvelja IPv4.
- fyrir VPC, velja SageMaker HyperPod VPC (sem þú bjóst til með CloudFormation sniðmátinu).
- fyrir Heilbrigðiseftirlit, velja TCP.
- Veldu Næstu.
- Í Skráðu markmið kafla, skráðu DNS vistföng möppuþjónustunnar sem markmið.
- fyrir Hafnir, velja Taka með sem í bið hér að neðan.Heimilisföngunum er bætt við í Farið yfir markmið kafla með Bíður stöðu.
- Veldu Búa til markhóp.
- Á vefsíðu Load Balancers stjórnborð, velja Búðu til álagsjafnvægi.
- undir Netálagsjafnari, velja Búa til.
- Stilltu NLB með eftirfarandi breytum:
- fyrir Heiti álagsjafnara, sláðu inn nafn (til dæmis,
nlb-ds
). - fyrir Áætlunvelja Innri.
- fyrir Tegund IP töluvelja IPv4.
- fyrir VPC, velja SageMaker HyperPod VPC (sem þú bjóst til með CloudFormation sniðmátinu).
- undir Kortagerð, veldu einkaundirnetin tvö og CIDR svið þeirra (sem þú bjóst til með CloudFormation sniðmátinu).
- fyrir Öryggishópar, velja
CfStackName-SecurityGroup-XYZXYZ
(sem þú bjóst til með CloudFormation sniðmátinu).
- fyrir Heiti álagsjafnara, sláðu inn nafn (til dæmis,
- Í Hlustendur og leiðsögn kafla, tilgreindu eftirfarandi færibreytur:
- fyrir Siðareglur, velja TCP.
- fyrir Port, koma inn
389
. - fyrir Sjálfgefin aðgerð, veldu markhópinn sem nefndur er LDAP.
Hér erum við að bæta við hlustanda fyrir LDAP. Við munum bæta við LDAPS síðar.
- Veldu Búðu til álagsjafnvægi.Bíddu þar til staðan breytist frá Útvegun í Active, sem getur tekið 3–5 mínútur.
- Þegar staðan breytist í Virk, opnaðu smáatriðissíðu hins útvegaða NLB og taktu eftir DNS nafninu (
xyzxyz.elb.region-name.amazonaws.com
) til síðari nota.
Búðu til sjálfundirritað vottorð og fluttu það inn í vottorðastjóra
Til að búa til sjálfstætt undirritað vottorð skaltu ljúka eftirfarandi skrefum:
- Í Linux-undirstaða umhverfi þínu (staðbundinni fartölvu, EC2 Linux dæmi eða CloudShell), keyrðu eftirfarandi OpenSSL skipanir til að búa til sjálfundirritað vottorð og einkalykil:
- Á vefsíðu Stjórnborð vottorðastjóra, velja innflutningur.
- Sláðu inn vottorð og einkalykil, úr innihaldi
ldaps.crt
ogldaps.key
sig. - Veldu Næstu.
- Bættu við valkvæðum merkjum og veldu síðan Næstu.
- Skoðaðu uppsetninguna og veldu innflutningur.
Bættu við LDAPS hlustanda
Við bættum við hlustanda fyrir LDAP þegar í NLB. Nú bætum við við hlustanda fyrir LDAPS með innflutta vottorðinu. Ljúktu við eftirfarandi skref:
- Á vefsíðu Load Balancers stjórnborð, farðu á NLB upplýsingasíðuna.
- Á vefsíðu Hlustendur flipa, veldu Bættu við hlustanda.
- Stilltu hlustandann með eftirfarandi breytum:
- fyrir Siðareglur, velja TLS.
- fyrir Port, koma inn
636
. - fyrir Sjálfgefin aðgerð, velja LDAP.
- fyrir Uppruni vottorðsvelja Frá ACM.
- fyrir vottorð, sláðu inn það sem þú fluttir inn í ACM.
- Veldu Bæta við.Nú hlustar NLB á bæði LDAP og LDAPS. Mælt er með því að eyða LDAP hlustandanum vegna þess að hann sendir gögn án dulkóðunar, ólíkt LDAPS.
Búðu til EC2 Windows tilvik til að stjórna notendum og hópum í AD
Til að búa til og viðhalda notendum og hópum í AD skaltu ljúka eftirfarandi skrefum:
- Á Amazon EC2 vélinni skaltu velja Dæmi í siglingarúðunni.
- Veldu Ræstu tilvik.
- fyrir heiti, sláðu inn nafn fyrir tilvikið þitt.
- fyrir Amazon vélamynd, velja Microsoft Windows Server 2022 grunnur.
- fyrir Tegund tilviks, velja t2.micro.
- Í Netstillingar kafla, gefðu upp eftirfarandi færibreytur:
- fyrir VPC, velja SageMaker HyperPod VPC (sem þú bjóst til með CloudFormation sniðmátinu).
- fyrir Undirnet, veldu annað hvort tveggja undirneta sem þú bjóst til með CloudFormation sniðmátinu.
- fyrir Algengar öryggishópar, velja
CfStackName-SecurityGroup-XYZXYZ
(sem þú bjóst til með CloudFormation sniðmátinu).
- fyrir Stilla geymslu, stilltu geymslupláss á 30 GB gp2.
- Í Ítarlegar upplýsingar kafla, fyrir Skrá yfir lén¸ veldu AD sem þú bjóst til.
- fyrir IAM tilvikssnið, veldu an AWS auðkenni og aðgangsstjórnun (IAM) hlutverk með að minnsta kosti
AmazonSSMManagedEC2InstanceDefaultPolicy
stefna. - Farðu yfir samantektina og veldu Ræstu dæmi.
Búðu til notendur og hópa í AD með því að nota EC2 Windows tilvikið
með Remote Desktop, tengdu við EC2 Windows tilvikið sem þú bjóst til í fyrra skrefi. Mælt er með því að nota RDP biðlara fram yfir að nota fjarstýrt skjáborð með vafra svo þú getir skipt um innihald klemmuspjaldsins við staðbundna vélina þína með því að nota copy-paste aðgerðir. Fyrir frekari upplýsingar um tengingu við EC2 Windows tilvik, sjá Tengstu við Windows tilvikið þitt.
Ef þú ert beðinn um innskráningarskilríki skaltu nota hyperpodAdmin
(hvar hyperpod
er fyrsti hluti af DNS-nafninu þínu) sem notandanafn og notaðu stjórnandalykilorðið sem þú stillir á skráarþjónustuna.
- Þegar Windows skjáborðsskjárinn opnast skaltu velja Server Manager frá Home valmyndinni.
- Veldu Staðbundinn netþjónn í yfirlitsrúðunni og staðfestu að lénið sé það sem þú tilgreindir fyrir skráarþjónustuna.
- Á vefsíðu Stjórna valmynd, veldu Bættu við hlutverkum og eiginleikum.
- Veldu Næstu þangað til þú ert á Aðstaða síðu.
- Stækkaðu eiginleikann Remote Server Administration Tools, auka Verkfæri fyrir hlutverkastjórnunOg veldu AD DS og AD LDS verkfæri og Active Directory réttindastjórnunarþjónusta.
- Veldu Næstu og setja.Uppsetning eiginleika hefst.
- Þegar uppsetningu er lokið skaltu velja Loka.
- Opna Active Directory notendur og tölvur frá Home valmyndinni.
- undir
hyperpod.abc123.com
, aukahyperpod
. - Veldu (hægrismelltu)
hyperpod
, velja nýtt, og veldu Skipulagseining. - Búðu til skipulagseiningu sem heitir
Groups
. - Veldu (hægrismelltu) hópar, velja nýtt, og veldu Group.
- Búðu til hóp sem heitir
ClusterAdmin
. - Búðu til annan hóp sem heitir
ClusterDev
. - Veldu (hægrismelltu) Notendur, velja nýtt, og veldu Notandi.
- Búðu til nýjan notanda.
- Veldu (hægrismelltu) notandann og veldu Bæta við hóp.
- Bættu notendum þínum við hópana
ClusterAdmin
orClusterDev
.Notendum bætt viðClusterAdmin
hópur mun hafasudo
forréttindi á klasanum.
Búðu til skrifvarinn notanda í AD
Búðu til notanda sem heitir ReadOnly
undir Users
. Í ReadOnly
notandi er notaður af klasanum til að fá forritaðan aðgang að notendum og hópum í AD.
Taktu eftir lykilorðinu til notkunar síðar.
(Fyrir SSH opinbera auðkenningu) Bættu SSH opinberum lyklum við notendur
Með því að geyma SSH almenningslykil fyrir notanda í AD geturðu skráð þig inn án þess að slá inn lykilorð. Þú getur notað núverandi lyklapar, eða þú getur búið til nýtt lyklapar með OpenSSH's ssh-keygen
skipun. Fyrir frekari upplýsingar um að búa til lyklapar, sjá Búðu til lyklapar fyrir Amazon EC2 tilvikið þitt.
- In Active Directory notendur og tölvur, Á Útsýni valmynd, virkja Ítarlegri Aðgerðir.
- opna Eiginleikar glugga notandans.
- Á vefsíðu Eiginleikaritstjóri flipa, veldu
altSecurityIdentities
velja Breyta. - fyrir Gildi til að auka, velja Bæta við.
- fyrir Gildi, bættu við SSH almennum lykli.
- Veldu OK.Staðfestu að SSH opinberi lykillinn birtist sem eiginleiki.
Fáðu óskýrt lykilorð fyrir ReadOnly notandann
Til að koma í veg fyrir að innihalda lykilorð með einföldum texta í SSSD stillingarskránni, skýlirðu lykilorðinu. Fyrir þetta skref þarftu Linux umhverfi (staðbundin fartölvu, EC2 Linux dæmi eða CloudShell).
setja sssd-tools
pakka á Linux vélinni til að setja upp Python eininguna pysss
fyrir þoku:
Keyrðu eftirfarandi einnar línu Python handrit. Sláðu inn lykilorðið á ReadOnly
notandi. Þú færð skyggða lykilorðið.
Búðu til HyperPod þyrping með SSSD-virku lífsferlisskriftu
Næst býrðu til HyperPod þyrping með LDAPS/Active Directory samþættingu.
- Finndu stillingarskrána
config.py
í lífsferlishandritaskránni þinni, opnaðu hana með textaritlinum þínum og breyttu eiginleikum íConfig
bekk ogSssdConfig
bekkur:- Setja
True
fyrirenable_sssd
til að virkja uppsetningu SSSD. - The
SssdConfig
flokkur inniheldur stillingarfæribreytur fyrir SSSD. - Gakktu úr skugga um að þú notir duldu lykilorðið fyrir
ldap_default_authtok
eign, ekki venjulegt lykilorð.
- Setja
- Afritaðu skírteinisskrána
ldaps.crt
í sömu möppu (hvarconfig.py
er til). - Hladdu upp breyttum lífsferilsskriftuskrám á þinn Amazon einföld geymsluþjónusta (Amazon S3) fötu og búðu til HyperPod þyrping með henni.
- Bíddu þar til staðan breytist í Í þjónustu.
Staðfesting
Við skulum sannreyna lausnina með því að skrá okkur inn í þyrpinguna með SSH. Vegna þess að þyrpingin var búin til í einkaundirneti geturðu ekki SSH beint inn í þyrpinguna úr þínu staðbundnu umhverfi. Þú getur valið á milli tveggja valkosta til að tengjast þyrpingunni.
Valkostur 1: SSH innskráning í gegnum AWS Systems Manager
Þú getur notað AWS kerfisstjóri sem umboð fyrir SSH tenginguna. Bættu hýsingarfærslu við SSH stillingarskrána ~/.ssh/config
með eftirfarandi dæmi. Fyrir HostName
reit, tilgreinið markheiti Systems Manager á sniði sem sagemaker-cluster:[cluster-id]_[instance-group-name]-[instance-id]
. Fyrir IdentityFile
reit, tilgreindu skráarslóðina að SSH einkalykli notandans. Þessi reitur er ekki nauðsynlegur ef þú velur auðkenningu lykilorðs.
Hlaupa ssh
skipun með því að nota hýsilnafnið sem þú tilgreindir. Staðfestu að þú getir skráð þig inn á tilvikið með tilgreindum notanda.
Á þessum tímapunkti geta notendur samt notað sjálfgefna skeljalotu Systems Manager til að skrá sig inn í þyrpinguna sem ssm-user
með stjórnunarréttindi. Til að loka fyrir sjálfgefinn Systems Manager skel aðgang og framfylgja SSH aðgangi geturðu stillt IAM stefnu þína með því að vísa til eftirfarandi dæmi:
Fyrir frekari upplýsingar um hvernig á að framfylgja SSH aðgangi, sjá Byrjaðu lotu með skjali með því að tilgreina lotuskjölin í IAM-reglum.
Valkostur 2: SSH innskráning í gegnum Bastion Host
Annar valkostur til að fá aðgang að þyrpingunni er að nota a Bastion gestgjafi sem umboð. Þú getur notað þennan valmöguleika þegar notandinn hefur ekki leyfi til að nota kerfisstjóralotur, eða til að leysa þegar kerfisstjóri virkar ekki.
- Búðu til bastion öryggishóp sem leyfir SSH aðgang á heimleið (TCP tengi 22) frá þínu staðbundnu umhverfi.
- Uppfærðu öryggishópinn fyrir þyrpinguna til að leyfa SSH aðgang á heimleið frá öryggishópnum Bastion.
- Búðu til EC2 Linux dæmi.
- fyrir Amazon vélamynd, velja Ubuntu Server 20.04LTS.
- fyrir Tegund tilviks, velja t3.lítil.
- Í Netstillingar kafla, gefðu upp eftirfarandi færibreytur:
- fyrir VPC, velja SageMaker HyperPod VPC (sem þú bjóst til með CloudFormation sniðmátinu).
- fyrir Undirnet, veldu opinbera undirnetið sem þú bjóst til með CloudFormation sniðmátinu.
- fyrir Algengar öryggishópar, veldu Bastion öryggishópinn sem þú bjóst til.
- fyrir Stilla geymslu, stilltu geymslupláss á 8 GB.
- Þekkja opinbera IP-tölu bastion-hýsilsins og einka-IP-tölu marktilviksins (til dæmis innskráningarhnút þyrpingarinnar) og bættu við tveimur hýsilfærslum í SSH-stillingunni, með því að vísa til eftirfarandi dæmi:
- Hlaupa
ssh
skipun með því að nota miðhýsilnafnið sem þú tilgreindir áðan og staðfestu að þú getir skráð þig inn á tilvikið með tilgreindum notanda:
Hreinsa upp
Hreinsaðu tilföngin í eftirfarandi röð:
- Eyða HyperPod þyrpingunni.
- Eyddu Network Load Balancer.
- Eyða álagsjöfnun markhópnum.
- Eyddu vottorðinu sem flutt var inn í vottorðastjóra.
- Eyddu EC2 Windows tilvikinu.
- Eyddu EC2 Linux tilvikinu fyrir Bastion gestgjafann.
- Eyða AWS stýrðu Microsoft AD.
- Eyddu CloudFormation staflanum fyrir VPC, undirnet, öryggishóp og FSx fyrir Luster bindi.
Niðurstaða
Þessi færsla veitti skref til að búa til HyperPod þyrping samþættan Active Directory. Þessi lausn fjarlægir fyrirhöfn notendaviðhalds á stórum klösum og gerir þér kleift að stjórna notendum og hópum miðlægt á einum stað.
Fyrir frekari upplýsingar um HyperPod, skoðaðu HyperPod verkstæði og SageMaker HyperPod þróunarleiðbeiningar. Skildu eftir athugasemdir þínar um þessa lausn í athugasemdahlutanum.
Um höfunda
Tomonori Shimomura er Senior Solutions Architect í Amazon SageMaker teyminu, þar sem hann veitir ítarlega tæknilega ráðgjöf til SageMaker viðskiptavinum og stingur upp á vöruumbótum fyrir vöruteymið. Áður en hann gekk til liðs við Amazon vann hann við hönnun og þróun innbyggðs hugbúnaðar fyrir tölvuleikjatölvur og nú nýtir hann sér ítarlega færni sína í skýjahliðartækni. Í frítíma sínum nýtur hann þess að spila tölvuleiki, lesa bækur og skrifa hugbúnað.
Giuseppe Angelo Porcelli er aðal lausnaarkitektur í vélanámi fyrir Amazon Web Services. Með nokkurra ára hugbúnaðarverkfræði og ML bakgrunn vinnur hann með viðskiptavinum af hvaða stærð sem er til að skilja viðskipta- og tækniþarfir þeirra og hanna gervigreind og ML lausnir sem nýta AWS skýið og Amazon Machine Learning staflan sem best. Hann hefur unnið að verkefnum á mismunandi sviðum, þar á meðal MLOps, tölvusjón og NLP, sem felur í sér breitt safn af AWS þjónustu. Í frítíma sínum nýtur Giuseppe að spila fótbolta.
Monidipa Chakraborty starfar nú sem yfirmaður hugbúnaðarþróunarverkfræðings hjá Amazon Web Services (AWS), sérstaklega innan SageMaker HyperPod teymisins. Hún er staðráðin í að aðstoða viðskiptavini með því að hanna og innleiða öflug og stigstærð kerfi sem sýna framúrskarandi rekstrarhæfileika. Með næstum áratug af reynslu af hugbúnaðarþróun hefur Monidipa lagt sitt af mörkum til ýmissa geira innan Amazon, þar á meðal Video, Retail, Amazon Go og AWS SageMaker.
Satish Pasumarthi er hugbúnaðarhönnuður hjá Amazon Web Services. Með nokkurra ára hugbúnaðarverkfræði og ML bakgrunn elskar hann að brúa bilið á milli ML og kerfanna og hefur brennandi áhuga á að byggja upp kerfi sem gera þjálfun í stórum stíl mögulega. Hann hefur unnið að verkefnum á ýmsum sviðum, þar á meðal vélanámsramma, módelviðmiðun, byggingu hyperpod beta sem felur í sér breitt safn af AWS þjónustu. Í frítíma sínum nýtur Satish að spila badminton.
- SEO knúið efni og PR dreifing. Fáðu magnara í dag.
- PlatoData.Network Vertical Generative Ai. Styrktu sjálfan þig. Aðgangur hér.
- PlatoAiStream. Web3 upplýsingaöflun. Þekking aukin. Aðgangur hér.
- PlatóESG. Kolefni, CleanTech, Orka, Umhverfi, Sól, Úrgangsstjórnun. Aðgangur hér.
- PlatoHealth. Líftækni og klínísk rannsóknagreind. Aðgangur hér.
- Heimild: https://aws.amazon.com/blogs/machine-learning/integrate-hyperpod-clusters-with-active-directory-for-seamless-multi-user-login/