Generativ dataintelligens

Integrer HyperPod-klynger med Active Directory for problemfri flerbrugerlogin | Amazon Web Services

Dato:

Amazon SageMaker HyperPod er specialbygget til at accelerere træning af foundationmodel (FM) og fjerne de udifferentierede tunge løft involveret i styring og optimering af en stor træningscomputerklynge. Med SageMaker HyperPod kan du træne FM'er i uger og måneder uden afbrydelser.

Typisk bruges HyperPod-klynger af flere brugere: maskinlæringsforskere (ML), softwareingeniører, dataforskere og klyngeadministratorer. De redigerer deres egne filer, kører deres egne job og vil gerne undgå at påvirke hinandens arbejde. For at opnå dette flerbrugermiljø kan du drage fordel af Linuxs bruger- og gruppemekanisme og statisk oprette flere brugere på hver instans gennem livscyklusscripts. Ulempen ved denne tilgang er imidlertid, at bruger- og gruppeindstillinger duplikeres på tværs af flere forekomster i klyngen, hvilket gør det vanskeligt at konfigurere dem konsekvent på alle forekomster, såsom når et nyt teammedlem tiltræder.

For at løse dette smertepunkt, kan vi bruge Lightweight Directory Access Protocol (LDAP) , LDAP over TLS/SSL (LDAPS) at integrere med en telefonbogstjeneste som f.eks AWS Directory Service til Microsoft Active Directory. Med bibliotekstjenesten kan du centralt vedligeholde brugere og grupper og deres tilladelser.

I dette indlæg introducerer vi en løsning til at integrere HyperPod-klynger med AWS Managed Microsoft AD og forklarer, hvordan man opnår et problemfrit flerbrugerloginmiljø med en centralt vedligeholdt mappe.

Løsningsoversigt

Løsningen bruger følgende AWS-tjenester og ressourcer:

Vi bruger også AWS CloudFormation at implementere en stak for at skabe forudsætningerne for HyperPod-klyngen: VPC, undernet, sikkerhedsgruppe og Amazon FSx til Luster bind.

Følgende diagram illustrerer løsningsarkitekturen på højt niveau.

Arkitekturdiagram for HyperPod og Active Directory integration

I denne løsning bruger HyperPod-klyngeforekomster LDAPS-protokollen til at oprette forbindelse til AWS Managed Microsoft AD via en NLB. Vi bruger TLS opsigelse ved at installere et certifikat til NLB. For at konfigurere LDAPS i HyperPod-klyngeforekomster installeres og konfigureres livscyklusscriptet System Security Services Daemon (SSSD)-en open source-klientsoftware til LDAP/LDAPS.

Forudsætninger

Dette indlæg antager, at du allerede ved, hvordan du opretter en grundlæggende HyperPod-klynge uden SSSD. For flere detaljer om, hvordan du opretter HyperPod-klynger, se Kom godt i gang med SageMaker HyperPod og HyperPod workshop.

I opsætningstrinnene vil du også bruge en Linux-maskine til at generere et selvsigneret certifikat og få en sløret adgangskode til AD-læserbrugeren. Hvis du ikke har en Linux-maskine, kan du oprette en EC2 Linux-instans eller bruge AWS CloudShell.

Opret en VPC, undernet og en sikkerhedsgruppe

Følg instruktionerne i Egen regning afsnit af HyperPod-værkstedet. Du vil implementere en CloudFormation-stak og oprette nødvendige ressourcer såsom VPC, undernet, sikkerhedsgruppe og FSx for Luster-volumen. Du skal oprette både et primært undernet og et backupundernet, når du implementerer CloudFormation-stakken, fordi AWS Managed Microsoft AD kræver mindst to undernet med forskellige tilgængelighedszoner.

I dette indlæg bruger vi for nemheds skyld den samme VPC, undernet og sikkerhedsgruppe til både HyperPod-klyngen og katalogtjenesten. Hvis du skal bruge forskellige netværk mellem klynge- og katalogtjenesten, skal du sørge for, at sikkerhedsgrupper og rutetabeller er konfigureret, så de kan kommunikere med hinanden.

Opret AWS Managed Microsoft AD på Directory Service

Udfør følgende trin for at konfigurere din mappe:

  1. Directory Service-konsol, vælg Directories i navigationsruden.
  2. Vælg Opsæt bibliotek.
  3. Til Katalogtype, Vælg AWS administrerede Microsoft AD.
  4. Vælg Næste.
    Skærm til valg af mappetype
  5. Til Edition, Vælg Standard Edition.
  6. Til Directory DNS-navn, indtast dit foretrukne katalog-DNS-navn (f.eks. hyperpod.abc123.com).
  7. Til Admin adgangskode¸ indstil en adgangskode og gem den til senere brug.
  8. Vælg Næste.
    Skærmbilledet til konfiguration af mappeoprettelse
  9. I netværk sektion, skal du angive den VPC og to private undernet, du har oprettet.
  10. Vælg Næste.
    Skærm til konfiguration af biblioteksnetværk
  11. Gennemgå konfigurationen og priserne, og vælg derefter Opret mappe.
    Bekræftelsesskærm for oprettelse af mappe
    Oprettelse af mappen starter. Vent, indtil status ændres fra Oprettelse af til Aktiv , hvilket kan tage 20-30 minutter.
  12. Når status ændres til Aktiv , åbn katalogets detaljeside og noter DNS-adresserne til senere brug.Skærm med katalogdetaljer

Opret en NLB foran Directory Service

For at oprette NLB skal du udføre følgende trin:

  1. Amazon EC2 konsol, vælg Målgrupper i navigationsruden.
  2. Vælg Opret målgrupper.
  3. Opret en målgruppe med følgende parametre:
    1. Til Vælg en måltype, Vælg IP-adresser.
    2. Til Målgruppenavn, gå ind LDAP.
    3. Til Protokol: Havn, vælg TCP og indtast 389.
    4. Til IP-adressetype, Vælg IPv4.
    5. Til VPC, vælg SageMaker HyperPod VPC (som du har oprettet med CloudFormation-skabelonen).
    6. Til Sundhedstjek protokol, vælg TCP.
  4. Vælg Næste.
    Skærmen til konfiguration af belastningsbalanceringsmål
  5. I Registrer mål sektion, skal du registrere katalogtjenestens DNS-adresser som målene.
  6. Til Havne, vælg Medtag som afventende nedenfor.Skærmen til registrering af belastningsbalanceringsmålAdresserne tilføjes i Gennemgå mål afsnit med Verserende status.
  7. Vælg Opret målgruppe.Gennemgang af belastningsbalanceringsmål
  8. Load Balancers konsol, vælg Opret load balancer.
  9. Under Network Load Balancer, vælg Opret.Skærm til valg af belastningsbalancertype
  10. Konfigurer en NLB med følgende parametre:
    1. Til Load balancer navn, indtast et navn (f.eks. nlb-ds).
    2. Til Scheme, Vælg Intern.
    3. Til IP-adressetype, Vælg IPv4.NLB oprettelse grundlæggende konfiguration sektion
    4. Til VPC, vælg SageMaker HyperPod VPC (som du har oprettet med CloudFormation-skabelonen).
    5. Under tilknytninger, vælg de to private undernet og deres CIDR-intervaller (som du oprettede med CloudFormation-skabelonen).
    6. Til Sikkerhedsgrupper, vælg CfStackName-SecurityGroup-XYZXYZ (som du har oprettet med CloudFormation-skabelonen).NLB oprettelse af netværkskortlægning og konfigurationer af sikkerhedsgrupper
  11. I Lyttere og routing afsnit, skal du angive følgende parametre:
    1. Til protokol, vælg TCP.
    2. Til port, gå ind 389.
    3. Til Standardhandling, vælg den navngivne målgruppe LDAP.

    Her tilføjer vi en lytter til LDAP. Vi tilføjer LDAPS senere.

  12. Vælg Opret load balancer.NLB-lytters routing-konfigurationsskærmVent, indtil status ændres fra Provisioning til Aktiv, hvilket kan tage 3-5 minutter.
  13. Når status ændres til Aktiv , åbn detaljesiden for den klargjorte NLB og noter DNS-navnet (xyzxyz.elb.region-name.amazonaws.com) til senere brug.NLB detaljer skærm

Opret et selvsigneret certifikat og importer det til Certificate Manager

For at oprette et selvsigneret certifikat skal du udføre følgende trin:

  1. Kør følgende på dit Linux-baserede miljø (lokal bærbar, EC2 Linux-instans eller CloudShell). OpenSSL kommandoer til at oprette et selvsigneret certifikat og privat nøgle:
    $ openssl genrsa 2048 > ldaps.key
    
    $ openssl req -new -key ldaps.key -out ldaps_server.csr
    
    You are about to be asked to enter information that will be incorporated
    into your certificate request.
    What you are about to enter is what is called a Distinguished Name or a DN.
    There are quite a few fields but you can leave some blank
    For some fields there will be a default value,
    If you enter '.', the field will be left blank.
    -----
    Country Name (2 letter code) [AU]:US
    State or Province Name (full name) [Some-State]:Washington
    Locality Name (eg, city) []:Bellevue
    Organization Name (eg, company) [Internet Widgits Pty Ltd]:CorpName
    Organizational Unit Name (eg, section) []:OrgName
    Common Name (e.g., server FQDN or YOUR name) []:nlb-ds-abcd1234.elb.region.amazonaws.com
    Email Address []:[email protected]
    
    Please enter the following 'extra' attributes
    to be sent with your certificate request
    A challenge password []:
    An optional company name []:
    
    $ openssl x509 -req -sha256 -days 365 -in ldaps_server.csr -signkey ldaps.key -out ldaps.crt
    
    Certificate request self-signature ok
    subject=C = US, ST = Washington, L = Bellevue, O = CorpName, OU = OrgName, CN = nlb-ds-abcd1234.elb.region.amazonaws.com, emailAddress = [email protected]
    
    $ chmod 600 ldaps.key

  2. Certificate Manager-konsol, vælg Importere.
  3. Indtast certifikatets krop og den private nøgle fra indholdet af ldaps.crt , ldaps.key henholdsvis.
  4. Vælg Næste.Certifikatimportskærm
  5. Tilføj eventuelle valgfri tags, og vælg derefter Næste.Skærm til redigering af certifikatmærker
  6. Gennemgå konfigurationen og vælg Importere.Skærmbilledet for anmeldelse af certifikatimport

Tilføj en LDAPS-lytter

Vi har allerede tilføjet en lytter til LDAP i NLB. Nu tilføjer vi en lytter til LDAPS med det importerede certifikat. Udfør følgende trin:

  1. Load Balancers konsol, naviger til siden med NLB-detaljer.
  2. lyttere fanebladet, vælg Tilføj lytter.NLB-lister-skærm med tilføj lytter-knap
  3. Konfigurer lytteren med følgende parametre:
    1. Til protokol, vælg TLS.
    2. Til port, gå ind 636.
    3. Til Standardhandling, vælg LDAP.
    4. Til Certifikatkilde, Vælg Fra ACM.
    5. Til certifikat, indtast det du importerede i ACM.
  4. Vælg Tilføj.NLB lytter konfigurationsskærmNu lytter NLB til både LDAP og LDAPS. Det anbefales at slette LDAP-lytteren, fordi den transmitterer data uden kryptering, i modsætning til LDAPS.NLB-lister med LDAP og LDAPS

Opret en EC2 Windows-instans til at administrere brugere og grupper i AD

For at oprette og vedligeholde brugere og grupper i AD skal du udføre følgende trin:

  1. På Amazon EC2-konsollen skal du vælge tilfælde i navigationsruden.
  2. Vælg Start forekomster.
  3. Til Navn, indtast et navn til din forekomst.
  4. Til Amazon-maskinebillede, vælg Microsoft Windows Server 2022 Base.
  5. Til Forekomsttype, vælg t2.micro.
  6. I Netværksindstillinger sektion, skal du angive følgende parametre:
    1. Til VPC, vælg SageMaker HyperPod VPC (som du har oprettet med CloudFormation-skabelonen).
    2. Til Subnet, vælg et af de to undernet, du har oprettet med CloudFormation-skabelonen.
    3. Til Fælles sikkerhedsgrupper, vælg CfStackName-SecurityGroup-XYZXYZ (som du har oprettet med CloudFormation-skabelonen).
  7. Til Konfigurer lager, indstil lagerplads til 30 GB gp2.
  8. I Avancerede detaljer afsnit, for Domænetilmeldingsmappe¸ vælg den AD, du har oprettet.
  9. Til IAM-instansprofil, vælg en AWS identitets- og adgangsstyring (IAM) rolle med mindst AmazonSSMManagedEC2InstanceDefaultPolicy politik.
  10. Gennemgå oversigten og vælg Start forekomst.

Opret brugere og grupper i AD ved hjælp af EC2 Windows-instansen

Med Remote Desktop, skal du oprette forbindelse til den EC2 Windows-instans, du oprettede i det forrige trin. Det anbefales at bruge en RDP-klient frem for at bruge et browserbaseret fjernskrivebord, så du kan udveksle indholdet af udklipsholderen med din lokale maskine ved at bruge copy-paste-operationer. For flere detaljer om tilslutning til EC2 Windows-instanser, se Opret forbindelse til din Windows-instans.

Hvis du bliver bedt om et login-legitimationsoplysninger, skal du bruge hyperpodAdmin (hvor hyperpod er den første del af dit biblioteks DNS-navn) som brugernavn, og brug den admin-adgangskode, du har angivet til bibliotekstjenesten.

  1. Når Windows-skrivebordsskærmen åbnes, skal du vælge Server manager fra Starten menu.Dashboard-skærm på Server Manager
  2. Vælg Lokal server i navigationsruden, og bekræft, at domænet er det, du har angivet til katalogtjenesten.Lokal server-skærm på Server Manager
  3. Administrer menu, vælg Tilføj roller og funktioner.Rullemenu åbnet fra Administrer-knappen
  4. Vælg Næste indtil du er ved Funktionalitet .Tilføj roller og funktioner guiden
  5. Udvid funktionen Remote Server Administration Tools, udvide Rolleadministrationsværktøjer, og vælg AD DS og AD LDS værktøjer , Active Directory Rights Management Service.
  6. Vælg Næste , Installer.Skærm til valg af funktionerFunktionsinstallationen starter.
  7. Når installationen er færdig, skal du vælge Luk.Skærmbilledet til fremskridt for funktionsinstallation
  8. Åbne Active Directory-brugere og -computere fra Starten menu.Vinduet Active Directory-brugere og -computere
  9. Under hyperpod.abc123.com, udvide hyperpod.
  10. Vælg (højreklik) hyperpod, vælg Ny, og vælg Organisationsenhed.Genvejsmenu åbnet for at oprette en organisationsenhed
  11. Opret en organisatorisk enhed kaldet Groups.Organisatorisk enhed ceation dialog
  12. Vælg (højreklik) Grupper, vælg Ny, og vælg gruppe.Genvejsmenu åbnet for at oprette grupper
  13. Opret en gruppe kaldet ClusterAdmin.Gruppeoprettelsesdialog for ClusterAdmin
  14. Opret en anden gruppe kaldet ClusterDev.Gruppeoprettelsesdialog for ClusterDev
  15. Vælg (højreklik) Brugere, vælg Ny, og vælg Bruger.
  16. Opret en ny bruger.Dialog om brugeroprettelse
  17. Vælg (højreklik) brugeren og vælg Tilføj til en gruppe.Genvejsmenu åbnet for at tilføje en bruger til en gruppe
  18. Tilføj dine brugere til grupperne ClusterAdmin or ClusterDev.Gruppevalgskærm for at tilføje en bruger til en gruppeBrugere tilføjet til ClusterAdmin gruppen vil have sudo privilegium på klyngen.

Opret en skrivebeskyttet bruger i AD

Opret en bruger kaldet ReadOnly under Users. Det ReadOnly bruger bruges af klyngen til programmæssig adgang til brugere og grupper i AD.

Brugeroprettelsesdialog for at oprette skrivebeskyttet bruger

Noter adgangskoden til senere brug.

Adgangskodeindtastningsskærm for skrivebeskyttet bruger

(For SSH offentlig nøglegodkendelse) Tilføj SSH offentlige nøgler til brugere

Ved at gemme en offentlig SSH-nøgle til en bruger i AD, kan du logge ind uden at indtaste en adgangskode. Du kan bruge et eksisterende nøglepar, eller du kan oprette et nyt nøglepar med OpenSSH's ssh-keygen kommando. For mere information om generering af et nøglepar, se Opret et nøglepar til din Amazon EC2-instans.

  1. In Active Directory-brugere og -computere, Om Specifikation menu, aktiver Avancerede funktioner.Vis menu åbnet for at aktivere avancerede funktioner
  2. Åbne Ejendomme brugerens dialog.
  3. Attributredaktør fanebladet, vælg altSecurityIdentities vælge Redigere.Fanen Attribut Editor i dialogboksen Brugeregenskaber
  4. Til Værdi at tilføje, vælg Tilføj.
  5. Til Værdier, tilføje en SSH offentlig nøgle.
  6. Vælg OK.Attributredigeringsdialog for altSecurityIdentitiesBekræft, at den offentlige SSH-nøgle vises som en attribut.Fanen Attribut Editor med altSecurityIdentities konfigureret

Få en sløret adgangskode til ReadOnly-brugeren

For at undgå at inkludere en almindelig tekstadgangskode i SSSD-konfigurationsfilen, slører du adgangskoden. Til dette trin har du brug for et Linux-miljø (lokal bærbar computer, EC2 Linux-instans eller CloudShell).

Installer sssd-tools pakke på Linux-maskinen for at installere Python-modulet pysss til sløring:

# Ubuntu
$ sudo apt install sssd-tools

# Amazon Linux
$ sudo yum install sssd-tools

Kør følgende Python-script på én linje. Indtast adgangskoden til ReadOnly bruger. Du får den slørede adgangskode.

$ python3 -c "import getpass,pysss; print(pysss.password().encrypt(getpass.getpass('AD reader user password: ').strip(), pysss.password().AES_256))"
AD reader user password: (Enter ReadOnly user password) 
AAAQACK2....

Opret en HyperPod-klynge med et SSSD-aktiveret livscyklusscript

Dernæst opretter du en HyperPod-klynge med LDAPS/Active Directory-integration.

  1. Find konfigurationsfilen config.py i din livscyklusscript-mappe, åbn den med din teksteditor, og rediger egenskaberne i Config klasse og SssdConfig klasse:
    1. sæt True forum enable_sssd for at aktivere opsætning af SSSD.
    2. SssdConfig klasse indeholder konfigurationsparametre for SSSD.
    3. Sørg for at bruge den slørede adgangskode til ldap_default_authtok egenskab, ikke en almindelig tekstadgangskode.
    # Basic configuration parameters
    class Config:
             :
        # Set true if you want to install SSSD for ActiveDirectory/LDAP integration.
        # You need to configure parameters in SssdConfig as well.
        enable_sssd = True
    # Configuration parameters for ActiveDirectory/LDAP/SSSD
    class SssdConfig:
    
        # Name of domain. Can be default if you are not sure.
        domain = "default"
    
        # Comma separated list of LDAP server URIs
        ldap_uri = "ldaps://nlb-ds-xyzxyz.elb.us-west-2.amazonaws.com"
    
        # The default base DN to use for performing LDAP user operations
        ldap_search_base = "dc=hyperpod,dc=abc123,dc=com"
    
        # The default bind DN to use for performing LDAP operations
        ldap_default_bind_dn = "CN=ReadOnly,OU=Users,OU=hyperpod,DC=hyperpod,DC=abc123,DC=com"
    
        # "password" or "obfuscated_password". Obfuscated password is recommended.
        ldap_default_authtok_type = "obfuscated_password"
    
        # You need to modify this parameter with the obfuscated password, not plain text password
        ldap_default_authtok = "placeholder"
    
        # SSH authentication method - "password" or "publickey"
        ssh_auth_method = "publickey"
    
        # Home directory. You can change it to "/home/%u" if your cluster doesn't use FSx volume.
        override_homedir = "/fsx/%u"
    
        # Group names to accept SSH login
        ssh_allow_groups = {
            "controller" : ["ClusterAdmin", "ubuntu"],
            "compute" : ["ClusterAdmin", "ClusterDev", "ubuntu"],
            "login" : ["ClusterAdmin", "ClusterDev", "ubuntu"],
        }
    
        # Group names for sudoers
        sudoers_groups = {
            "controller" : ["ClusterAdmin", "ClusterDev"],
            "compute" : ["ClusterAdmin", "ClusterDev"],
            "login" : ["ClusterAdmin", "ClusterDev"],
        }
    

  2. Kopiér certifikatfilen ldaps.crt til den samme mappe (hvor config.py findes).
  3. Upload de ændrede livscyklusscriptfiler til din Amazon Simple Storage Service (Amazon S3) spand, og opret en HyperPod-klynge med den.
  4. Vent, indtil status ændres til I brug.

Verifikation

Lad os verificere løsningen ved at logge ind på klyngen med SSH. Fordi klyngen blev oprettet i et privat undernet, kan du ikke direkte SSH ind i klyngen fra dit lokale miljø. Du kan vælge mellem to muligheder for at oprette forbindelse til klyngen.

Mulighed 1: SSH-login via AWS Systems Manager

Du kan bruge AWS System Manager som proxy for SSH-forbindelsen. Tilføj en værtspost til SSH-konfigurationsfilen ~/.ssh/config ved hjælp af følgende eksempel. For HostName feltet skal du angive Systems Manager-målnavnet i formatet sagemaker-cluster:[cluster-id]_[instance-group-name]-[instance-id]. For IdentityFile feltet skal du angive filstien til brugerens private SSH-nøgle. Dette felt er ikke påkrævet, hvis du har valgt adgangskodegodkendelse.

Host MyCluster-LoginNode
    HostName sagemaker-cluster:abcd1234_LoginGroup-i-01234567890abcdef
    User user1
    IdentityFile ~/keys/my-cluster-ssh-key.pem
    ProxyCommand aws --profile default --region us-west-2 ssm start-session --target %h --document-name AWS-StartSSHSession --parameters portNumber=%p

Kør ssh kommando ved hjælp af det værtsnavn, du har angivet. Bekræft, at du kan logge på instansen med den angivne bruger.

$ ssh MyCluster-LoginNode
   :
   :
   ____              __  ___     __             __ __                  ___          __
  / __/__ ____ ____ /  |/  /__ _/ /_____ ____  / // /_ _____  ___ ____/ _ ___  ___/ /
 _ / _ `/ _ `/ -_) /|_/ / _ `/  '_/ -_) __/ / _  / // / _ / -_) __/ ___/ _ / _  /
/___/_,_/_, /__/_/  /_/_,_/_/___/_/   /_//_/_, / .__/__/_/ /_/   ___/_,_/
         /___/                                    /___/_/
You're on the controller
Instance Type: ml.m5.xlarge
user1@ip-10-1-111-222:~$

På dette tidspunkt kan brugere stadig bruge Systems Manager-standard shell-sessionen til at logge på klyngen som ssm-user med administrative rettigheder. For at blokere standard Systems Manager shell-adgang og gennemtvinge SSH-adgang kan du konfigurere din IAM-politik ved at henvise til følgende eksempel:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "ssm:StartSession",
                "ssm:TerminateSession"
            ],
            "Resource": [
                "arn:aws:sagemaker:us-west-2:123456789012:cluster/abcd1234efgh",
                "arn:aws:ssm:us-west-2:123456789012:document/AWS-StartSSHSession"
            ],
            "Condition": {
                "BoolIfExists": {
                    "ssm:SessionDocumentAccessCheck": "true"
                }
            }
        }
    ]
}

For flere detaljer om, hvordan man håndhæver SSH-adgang, se Start en session med et dokument ved at angive sessionsdokumenterne i IAM-politikker.

Mulighed 2: SSH login gennem bastion vært

En anden mulighed for at få adgang til klyngen er at bruge en bastion vært som fuldmægtig. Du kan bruge denne mulighed, når brugeren ikke har tilladelse til at bruge Systems Manager-sessioner, eller til at foretage fejlfinding, når Systems Manager ikke fungerer.

  1. Opret en bastion-sikkerhedsgruppe, der tillader indgående SSH-adgang (TCP-port 22) fra dit lokale miljø.
  2. Opdater sikkerhedsgruppen for klyngen for at tillade indgående SSH-adgang fra bastion-sikkerhedsgruppen.
  3. Opret en EC2 Linux-instans.
  4. Til Amazon-maskinebillede, vælg Ubuntu Server 20.04LTS.
  5. Til Forekomsttype, vælg t3. lille.
  6. I Netværksindstillinger sektion, skal du angive følgende parametre:
    1. Til VPC, vælg SageMaker HyperPod VPC (som du har oprettet med CloudFormation-skabelonen).
    2. Til Subnet, vælg det offentlige undernet, du oprettede med CloudFormation-skabelonen.
    3. Til Fælles sikkerhedsgrupper, vælg den bastion-sikkerhedsgruppe, du har oprettet.
  7. Til Konfigurer lager, indstil lagerplads til 8 GB.
  8. Identificer bastionværtens offentlige IP-adresse og målinstansens private IP-adresse (f.eks. login-noden for klyngen), og tilføj to værtsindgange i SSH-konfigurationen ved at henvise til følgende eksempel:
    Host Bastion
        HostName 11.22.33.44
        User ubuntu
        IdentityFile ~/keys/my-bastion-ssh-key.pem
    
    Host MyCluster-LoginNode-with-Proxy
        HostName 10.1.111.222
        User user1
        IdentityFile ~/keys/my-cluster-ssh-key.pem
        ProxyCommand ssh -q -W %h:%p Bastion

  9. Kør ssh kommando ved hjælp af målværtsnavnet, du har angivet tidligere, og bekræft, at du kan logge på forekomsten med den angivne bruger:
    $ ssh MyCluster-LoginNode-with-Proxy
       :
       :
       ____              __  ___     __             __ __                  ___          __
      / __/__ ____ ____ /  |/  /__ _/ /_____ ____  / // /_ _____  ___ ____/ _ ___  ___/ /
     _ / _ `/ _ `/ -_) /|_/ / _ `/  '_/ -_) __/ / _  / // / _ / -_) __/ ___/ _ / _  /
    /___/_,_/_, /__/_/  /_/_,_/_/___/_/   /_//_/_, / .__/__/_/ /_/   ___/_,_/
             /___/                                    /___/_/
    You're on the controller
    Instance Type: ml.m5.xlarge
    user1@ip-10-1-111-222:~$

Ryd op

Ryd op i ressourcerne i følgende rækkefølge:

  1. Slet HyperPod-klyngen.
  2. Slet Network Load Balancer.
  3. Slet belastningsbalanceringsmålgruppen.
  4. Slet det certifikat, der er importeret til Certificate Manager.
  5. Slet EC2 Windows-forekomsten.
  6. Slet EC2 Linux-instansen for bastion-værten.
  7. Slet den AWS-administrerede Microsoft AD.
  8. Slet CloudFormation-stakken for VPC, undernet, sikkerhedsgruppe og FSx for Luster-volumen.

Konklusion

Dette indlæg indeholdt trin til at oprette en HyperPod-klynge integreret med Active Directory. Denne løsning fjerner besværet med brugervedligeholdelse på store klynger og giver dig mulighed for at administrere brugere og grupper centralt ét sted.

For mere information om HyperPod, tjek HyperPod workshop og SageMaker HyperPod Developer Guide. Giv din feedback om denne løsning i kommentarfeltet.


Om forfatterne

Tomonori Shimomura er Senior Solutions Architect på Amazon SageMaker-teamet, hvor han yder dybdegående teknisk rådgivning til SageMaker-kunder og foreslår produktforbedringer til produktteamet. Før han kom til Amazon, arbejdede han med design og udvikling af indlejret software til videospilkonsoller, og nu udnytter han sine dybtgående færdigheder inden for Cloud-side-teknologi. I sin fritid nyder han at spille videospil, læse bøger og skrive software.

Giuseppe Angelo Porcelli er en Principal Machine Learning Specialist Solutions Architect for Amazon Web Services. Med flere års softwareudvikling og en ML-baggrund arbejder han med kunder af enhver størrelse for at forstå deres forretningsmæssige og tekniske behov og designe AI- og ML-løsninger, der gør den bedste brug af AWS Cloud og Amazon Machine Learning-stakken. Han har arbejdet på projekter inden for forskellige domæner, herunder MLOps, computervision og NLP, der involverer et bredt sæt af AWS-tjenester. I sin fritid nyder Giuseppe at spille fodbold.

Monidipa Chakraborty fungerer i øjeblikket som senior softwareudviklingsingeniør hos Amazon Web Services (AWS), specifikt inden for SageMaker HyperPod-teamet. Hun er forpligtet til at hjælpe kunder ved at designe og implementere robuste og skalerbare systemer, der demonstrerer operationel ekspertise. Med næsten ti års erfaring med softwareudvikling har Monidipa bidraget til forskellige sektorer inden for Amazon, herunder Video, Retail, Amazon Go og AWS SageMaker.

Satish Pasumarthi er softwareudvikler hos Amazon Web Services. Med flere års software engineering og en ML-baggrund elsker han at bygge bro mellem ML og systemer og brænder for at bygge systemer, der gør modeltræning i stor skala mulig. Han har arbejdet på projekter inden for en række forskellige domæner, herunder Machine Learning frameworks, modelbenchmarking, opbygning af hyperpod beta, der involverer et bredt sæt af AWS-tjenester. I sin fritid nyder Satish at spille badminton.

spot_img

Seneste efterretninger

spot_img

Chat med os

Hej! Hvordan kan jeg hjælpe dig?