Inteligencia de datos generativa

Integre clústeres de HyperPod con Active Directory para un inicio de sesión multiusuario fluido | Servicios web de Amazon

Fecha:

HiperPod de Amazon SageMaker está diseñado específicamente para acelerar el entrenamiento del modelo básico (FM), eliminando el trabajo pesado indiferenciado que implica la gestión y optimización de un gran clúster de computación de entrenamiento. Con SageMaker HyperPod, puedes entrenar FM durante semanas y meses sin interrupciones.

Normalmente, los clústeres HyperPod son utilizados por varios usuarios: investigadores de aprendizaje automático (ML), ingenieros de software, científicos de datos y administradores de clústeres. Editan sus propios archivos, ejecutan sus propios trabajos y quieren evitar afectar el trabajo de los demás. Para lograr este entorno multiusuario, puede aprovechar el mecanismo de usuarios y grupos de Linux y crear estáticamente varios usuarios en cada instancia mediante scripts de ciclo de vida. Sin embargo, el inconveniente de este enfoque es que las configuraciones de usuarios y grupos se duplican en varias instancias del clúster, lo que dificulta configurarlas de manera consistente en todas las instancias, como cuando se une un nuevo miembro al equipo.

Para resolver este problema, podemos usar Protocolo ligero de acceso a directorios (LDAP) y LDAP sobre TLS/SSL (LDAPS) para integrarse con un servicio de directorio como Servicio de directorio de AWS para Microsoft Active Directory. Con el servicio de directorio, puede mantener de forma centralizada los usuarios y grupos, así como sus permisos.

En esta publicación, presentamos una solución para integrar clústeres de HyperPod con Microsoft AD administrado por AWS y explicamos cómo lograr un entorno de inicio de sesión multiusuario fluido con un directorio mantenido centralmente.

Resumen de la solución

La solución utiliza los siguientes servicios y recursos de AWS:

También usamos Formación en la nube de AWS implementar una pila para crear los requisitos previos para el clúster HyperPod: VPC, subredes, grupo de seguridad y Amazon FSx para Lustre volumen.

El siguiente diagrama ilustra la arquitectura de la solución de alto nivel.

Diagrama de arquitectura para la integración de HyperPod y Active Directory

En esta solución, las instancias del clúster HyperPod utilizan el protocolo LDAPS para conectarse a AWS Managed Microsoft AD a través de un NLB. Usamos terminación TLS instalando un certificado en la NLB. Para configurar LDAPS en instancias de clúster HyperPod, el script del ciclo de vida instala y configura Demonio de servicios de seguridad del sistema (SSSD)—un software cliente de código abierto para LDAP/LDAPS.

Requisitos previos

Esta publicación asume que ya sabes cómo crear un clúster HyperPod básico sin SSSD. Para obtener más detalles sobre cómo crear clústeres de HyperPod, consulte Comenzando con SageMaker HyperPod y del Taller de hiperpod.

Además, en los pasos de configuración, utilizará una máquina Linux para generar un certificado autofirmado y obtener una contraseña ofuscada para el usuario del lector AD. Si no tiene una máquina Linux, puede crear una instancia EC2 Linux o usar AWS CloudShell.

Cree una VPC, subredes y un grupo de seguridad

Siga las instrucciones del Cuenta propia sección del taller HyperPod. Implementará una pila de CloudFormation y creará recursos de requisitos previos, como VPC, subredes, grupo de seguridad y volumen FSx para Lustre. Debe crear una subred principal y una subred de respaldo al implementar la pila de CloudFormation, porque Microsoft AD administrado por AWS requiere al menos dos subredes con diferentes zonas de disponibilidad.

En esta publicación, para simplificar, utilizamos la misma VPC, subredes y grupo de seguridad tanto para el clúster HyperPod como para el servicio de directorio. Si necesita utilizar redes diferentes entre el clúster y el servicio de directorio, asegúrese de que los grupos de seguridad y las tablas de rutas estén configurados para que puedan comunicarse entre sí.

Cree Microsoft AD administrado por AWS en el servicio de directorio

Complete los siguientes pasos para configurar su directorio:

  1. En Consola del servicio de directorio, escoger Directorio en el panel de navegación.
  2. Elige Configurar directorio.
  3. tipo de directorio, seleccione AD de Microsoft administrado por AWS.
  4. Elige Siguiente.
    Pantalla de selección de tipo de directorio
  5. Edición, seleccione Standard Edition.
  6. Nombre DNS del directorio, ingrese el nombre DNS de su directorio preferido (por ejemplo, hyperpod.abc123.com).
  7. clave de administrador¸ establezca una contraseña y guárdela para usarla más adelante.
  8. Elige Siguiente.
    Pantalla de configuración de creación de directorio
  9. En Networking , especifique la VPC y las dos subredes privadas que creó.
  10. Elige Siguiente.
    Pantalla de configuración de red de directorio
  11. Revise la configuración y el precio, luego elija Crear directorio.
    Pantalla de confirmación de creación de directorio
    Comienza la creación del directorio. Espere hasta que el estado cambie de Creamos a Active, lo que puede tardar entre 20 y 30 minutos.
  12. Cuando el estado cambia a Active, abra la página de detalles del directorio y tome nota de las direcciones DNS para su uso posterior.Pantalla de detalles del directorio

Cree un NLB frente al servicio de directorio

Para crear el NLB, complete los siguientes pasos:

  1. En Consola de Amazon EC2, escoger Grupos destinatarios en el panel de navegación.
  2. Elige Crear grupos objetivo.
  3. Cree un grupo objetivo con los siguientes parámetros:
    1. Elige un tipo de objetivo, seleccione Direcciones IP.
    2. Nombre del grupo objetivo, introduzca LDAP.
    3. Protocolo: Puerto, escoger TCP e introduzca 389.
    4. tipo de dirección IP, seleccione IPv4.
    5. VPC, escoger SageMaker HyperPod VPC (que creó con la plantilla de CloudFormation).
    6. Protocolo de control de salud, escoger TCP.
  4. Elige Siguiente.
    Pantalla de configuración de creación de objetivos de equilibrio de carga
  5. En Registrar objetivos sección, registre las direcciones DNS del servicio de directorio como destinos.
  6. Puertos, escoger Incluir como pendiente a continuación.Pantalla de registro de destino de equilibrio de cargaLas direcciones se agregan en el Revisar objetivos sección con Pendiente de estado.
  7. Elige Crear grupo objetivo.Pantalla de revisión de objetivos de equilibrio de carga
  8. En Consola de equilibradores de carga, escoger Crear balanceador de carga.
  9. under Balanceador de carga de red, escoger Crear.Pantalla de elección del tipo de equilibrador de carga
  10. Configure un NLB con los siguientes parámetros:
    1. Nombre del balanceador de carga, ingrese un nombre (por ejemplo, nlb-ds).
    2. Esquema, seleccione Interno .
    3. tipo de dirección IP, seleccione IPv4.Sección de configuración básica de creación de NLB
    4. VPC, escoger SageMaker HyperPod VPC (que creó con la plantilla de CloudFormation).
    5. under Asignaciones, seleccione las dos subredes privadas y sus rangos CIDR (que creó con la plantilla de CloudFormation).
    6. Grupos de seguridad, escoger CfStackName-SecurityGroup-XYZXYZ (que creó con la plantilla de CloudFormation).Configuración de grupos de seguridad y mapeo de red de creación de NLB
  11. En Oyentes y enrutamiento sección, especifique los siguientes parámetros:
    1. Protocolo, escoger TCP.
    2. Puerto, introduzca 389.
    3. Acción por defecto, elija el grupo objetivo denominado LDAP.

    Aquí, estamos agregando un oyente para LDAP. Agregaremos LDAPS más adelante.

  12. Elige Crear balanceador de carga.Pantalla de configuración de enrutamiento de oyentes NLBEspere hasta que el estado cambie de Aprovisionamiento a Activo, lo que puede tardar entre 3 y 5 minutos.
  13. Cuando el estado cambia a Active, abra la página de detalles del NLB aprovisionado y tome nota del nombre DNS (xyzxyz.elb.region-name.amazonaws.com) para su uso posterior.Pantalla de detalles de la NLB

Cree un certificado autofirmado e impórtelo al Administrador de certificados

Para crear un certificado autofirmado, complete los siguientes pasos:

  1. En su entorno basado en Linux (portátil local, instancia EC2 Linux o CloudShell), ejecute lo siguiente OpenSSL Comandos para crear un certificado autofirmado y una clave privada:
    $ openssl genrsa 2048 > ldaps.key
    
    $ openssl req -new -key ldaps.key -out ldaps_server.csr
    
    You are about to be asked to enter information that will be incorporated
    into your certificate request.
    What you are about to enter is what is called a Distinguished Name or a DN.
    There are quite a few fields but you can leave some blank
    For some fields there will be a default value,
    If you enter '.', the field will be left blank.
    -----
    Country Name (2 letter code) [AU]:US
    State or Province Name (full name) [Some-State]:Washington
    Locality Name (eg, city) []:Bellevue
    Organization Name (eg, company) [Internet Widgits Pty Ltd]:CorpName
    Organizational Unit Name (eg, section) []:OrgName
    Common Name (e.g., server FQDN or YOUR name) []:nlb-ds-abcd1234.elb.region.amazonaws.com
    Email Address []:[email protected]
    
    Please enter the following 'extra' attributes
    to be sent with your certificate request
    A challenge password []:
    An optional company name []:
    
    $ openssl x509 -req -sha256 -days 365 -in ldaps_server.csr -signkey ldaps.key -out ldaps.crt
    
    Certificate request self-signature ok
    subject=C = US, ST = Washington, L = Bellevue, O = CorpName, OU = OrgName, CN = nlb-ds-abcd1234.elb.region.amazonaws.com, emailAddress = [email protected]
    
    $ chmod 600 ldaps.key

  2. En Consola del Administrador de certificados, escoger Importa.
  3. Ingrese el cuerpo del certificado y la clave privada, del contenido de ldaps.crt y ldaps.key respectivamente.
  4. Elige Siguiente.Pantalla de importación de certificados
  5. Agregue cualquier etiqueta opcional y luego elija Siguiente.Pantalla de edición de etiquetas de certificado
  6. Revisa la configuración y elige Importa.Pantalla de revisión de importación de certificados

Agregar un oyente LDAPS

Agregamos un oyente para LDAP que ya está en NLB. Ahora agregamos un oyente para LDAPS con el certificado importado. Complete los siguientes pasos:

  1. En Consola de equilibradores de carga, navegue hasta la página de detalles de NLB.
  2. En Oyentes pestaña, elegir Añadir oyente.Pantalla de listados de NLB con el botón Agregar oyente
  3. Configure el oyente con los siguientes parámetros:
    1. Protocolo, escoger TLS.
    2. Puerto, introduzca 636.
    3. Acción por defecto, escoger LDAP.
    4. Fuente del certificado, seleccione Desde ACM.
    5. Certificado, ingrese lo que importó en ACM.
  4. Elige Añada.Pantalla de configuración del oyente NLBAhora la NLB escucha tanto LDAP como LDAPS. Se recomienda eliminar el oyente LDAP porque transmite datos sin cifrado, a diferencia de LDAPS.Lista de oyentes de NLB con LDAP y LDAPS

Cree una instancia EC2 de Windows para administrar usuarios y grupos en AD

Para crear y mantener usuarios y grupos en AD, complete los siguientes pasos:

  1. En la consola de Amazon EC2, elija Instancias en el panel de navegación.
  2. Elige Lanzamiento de instancias.
  3. Nombre, ingrese un nombre para su instancia.
  4. Imagen de la máquina de Amazon, escoger Base de Microsoft Windows Server 2022.
  5. Tipo de instancia, escoger t2.micro.
  6. En Configuración de red sección, proporcione los siguientes parámetros:
    1. VPC, escoger SageMaker HyperPod VPC (que creó con la plantilla de CloudFormation).
    2. Subred, elija cualquiera de las dos subredes que creó con la plantilla de CloudFormation.
    3. Grupos de seguridad comunes, escoger CfStackName-SecurityGroup-XYZXYZ (que creó con la plantilla de CloudFormation).
  7. Configurar almacenamiento, configure el almacenamiento en 30 GB gp2.
  8. En Detalles avanzados sección, para Directorio de unión al dominio¸ elija el AD que creó.
  9. Perfil de instancia de IAM, elige un Gestión de identidades y accesos de AWS (IAM) con al menos el AmazonSSMManagedEC2InstanceDefaultPolicy .
  10. Revise el resumen y elija Ejecutar instancia.

Cree usuarios y grupos en AD usando la instancia EC2 de Windows

Con Remote Desktop, conéctese a la instancia EC2 de Windows que creó en el paso anterior. Se recomienda utilizar un cliente RDP en lugar de un escritorio remoto basado en navegador para que pueda intercambiar el contenido del portapapeles con su máquina local mediante operaciones de copiar y pegar. Para obtener más detalles sobre cómo conectarse a instancias EC2 de Windows, consulte Conéctese a su instancia de Windows.

Si se le solicita una credencial de inicio de sesión, utilice hyperpodAdmin (dónde hyperpod es la primera parte del nombre DNS de su directorio) como nombre de usuario y use la contraseña de administrador que configuró para el servicio de directorio.

  1. Cuando se abra la pantalla del escritorio de Windows, elija Administrador de servidores del desplegable Inicio .Pantalla del panel en el Administrador del servidor
  2. Elige Servidor local en el panel de navegación y confirme que el dominio es el que especificó para el servicio de directorio.Pantalla del servidor local en el Administrador del servidor
  3. En Gestiona menú, seleccione Agregar funciones y funciones.Menú desplegable abierto desde el botón Administrar
  4. Elige Siguiente hasta que estés en el Caracteristicas .Asistente para agregar funciones y funciones
  5. Ampliar la característica Herramientas de administración remota del servidor, expandir Herramientas de administración de rolesy seleccione Herramientas AD DS y AD LDS y Servicio de administración de derechos de Active Directory.
  6. Elige Siguiente y Instalar.Pantalla de selección de característicasComienza la instalación de funciones.
  7. Cuando la instalación esté completa, elija Cerrar.Pantalla de progreso de instalación de funciones
  8. Abierto Directorio activo de usuarios y computadoras del desplegable Inicio .Ventana Usuarios y equipos de Active Directory
  9. under hyperpod.abc123.com, expandir hyperpod.
  10. Elija (clic derecho) hyperpod, escoger Nuevo, y elige Unidad organizacional.Menú contextual abierto para crear una unidad organizativa
  11. Crea una unidad organizativa llamada Groups.Diálogo de cese de unidad organizativa
  12. Elija (clic derecho) Grupos, escoger Nuevo, y elige Grupo procesos.Menú contextual abierto para crear grupos.
  13. Crea un grupo llamado ClusterAdmin.Diálogo de creación de grupos para ClusterAdmin
  14. Crea un segundo grupo llamado ClusterDev.Diálogo de creación de grupos para ClusterDev
  15. Elija (clic derecho) Usuarios, escoger Nuevo, y elige Usuario.
  16. Crea un nuevo usuario.Diálogo de creación de usuario
  17. Elija (haga clic derecho) el usuario y elija Agregar a un grupo.Menú contextual abierto para agregar un usuario a un grupo
  18. Añade tus usuarios a los grupos ClusterAdmin or ClusterDev.Pantalla de selección de grupo para agregar un usuario a un grupoUsuarios agregados al ClusterAdmin el grupo tendrá sudo privilegio en el clúster.

Crear un usuario de solo lectura en AD

Crear un usuario llamado ReadOnly bajo Users. ReadOnly El clúster utiliza el usuario para acceder mediante programación a usuarios y grupos en AD.

Diálogo de creación de usuario para crear un usuario de solo lectura

Tome nota de la contraseña para su uso posterior.

Pantalla de ingreso de contraseña para usuario de solo lectura

(Para autenticación de clave pública SSH) Agregar claves públicas SSH a los usuarios

Al almacenar una clave pública SSH para un usuario en AD, puede iniciar sesión sin ingresar una contraseña. Puede utilizar un par de claves existente o puede crear un nuevo par de claves con OpenSSH. ssh-keygen dominio. Para obtener más información sobre cómo generar un par de claves, consulte Cree un par de claves para su instancia Amazon EC2.

  1. In Directorio activo de usuarios y computadoras, En la Ver menú, activar Características avanzadas.Menú Ver abierto para habilitar las funciones avanzadas
  2. Abra la Propiedades diálogo del usuario.
  3. En Editor de atributos pestaña, elegir altSecurityIdentities escoger Editar.Ficha Editor de atributos en el cuadro de diálogo Propiedades de usuario
  4. Valor para agregar, escoger Añada.
  5. Valores, agregue una clave pública SSH.
  6. Elige OK.Cuadro de diálogo de edición de atributos para altSecurityIdentitiesConfirme que la clave pública SSH aparezca como un atributo.Pestaña Editor de atributos con altSecurityIdentities configurado

Obtenga una contraseña ofuscada para el usuario de solo lectura

Para evitar incluir una contraseña de texto sin formato en el archivo de configuración de SSSD, confunda la contraseña. Para este paso, necesita un entorno Linux (portátil local, instancia EC2 de Linux o CloudShell).

Instale la sssd-tools paquete en la máquina Linux para instalar el módulo Python pysss por ofuscación:

# Ubuntu
$ sudo apt install sssd-tools

# Amazon Linux
$ sudo yum install sssd-tools

Ejecute el siguiente script Python de una línea. Introduzca la contraseña del ReadOnly usuario. Obtendrá la contraseña ofuscada.

$ python3 -c "import getpass,pysss; print(pysss.password().encrypt(getpass.getpass('AD reader user password: ').strip(), pysss.password().AES_256))"
AD reader user password: (Enter ReadOnly user password) 
AAAQACK2....

Cree un clúster HyperPod con un script de ciclo de vida habilitado para SSSD

A continuación, crea un clúster HyperPod con integración LDAPS/Active Directory.

  1. Encuentra el archivo de configuración config.py en el directorio de su script de ciclo de vida, ábralo con su editor de texto y edite las propiedades en el Config clase y SssdConfig clase:
    1. Set True para enable_sssd para habilitar la configuración de SSSD.
    2. El SssdConfig La clase contiene parámetros de configuración para SSSD.
    3. Asegúrese de utilizar la contraseña ofuscada para el ldap_default_authtok propiedad, no una contraseña de texto sin formato.
    # Basic configuration parameters
    class Config:
             :
        # Set true if you want to install SSSD for ActiveDirectory/LDAP integration.
        # You need to configure parameters in SssdConfig as well.
        enable_sssd = True
    # Configuration parameters for ActiveDirectory/LDAP/SSSD
    class SssdConfig:
    
        # Name of domain. Can be default if you are not sure.
        domain = "default"
    
        # Comma separated list of LDAP server URIs
        ldap_uri = "ldaps://nlb-ds-xyzxyz.elb.us-west-2.amazonaws.com"
    
        # The default base DN to use for performing LDAP user operations
        ldap_search_base = "dc=hyperpod,dc=abc123,dc=com"
    
        # The default bind DN to use for performing LDAP operations
        ldap_default_bind_dn = "CN=ReadOnly,OU=Users,OU=hyperpod,DC=hyperpod,DC=abc123,DC=com"
    
        # "password" or "obfuscated_password". Obfuscated password is recommended.
        ldap_default_authtok_type = "obfuscated_password"
    
        # You need to modify this parameter with the obfuscated password, not plain text password
        ldap_default_authtok = "placeholder"
    
        # SSH authentication method - "password" or "publickey"
        ssh_auth_method = "publickey"
    
        # Home directory. You can change it to "/home/%u" if your cluster doesn't use FSx volume.
        override_homedir = "/fsx/%u"
    
        # Group names to accept SSH login
        ssh_allow_groups = {
            "controller" : ["ClusterAdmin", "ubuntu"],
            "compute" : ["ClusterAdmin", "ClusterDev", "ubuntu"],
            "login" : ["ClusterAdmin", "ClusterDev", "ubuntu"],
        }
    
        # Group names for sudoers
        sudoers_groups = {
            "controller" : ["ClusterAdmin", "ClusterDev"],
            "compute" : ["ClusterAdmin", "ClusterDev"],
            "login" : ["ClusterAdmin", "ClusterDev"],
        }
    

  2. Copie el archivo del certificado ldaps.crt al mismo directorio (donde config.py existe).
  3. Cargue los archivos de script del ciclo de vida modificados en su Servicio de almacenamiento simple de Amazon (Amazon S3) y cree un clúster HyperPod con él.
  4. Espere hasta que el estado cambie a En servicio.

Verificación

Verifiquemos la solución iniciando sesión en el clúster con SSH. Debido a que el clúster se creó en una subred privada, no puede acceder mediante SSH directamente al clúster desde su entorno local. Puede elegir entre dos opciones para conectarse al clúster.

Opción 1: inicio de sesión SSH a través de AWS Systems Manager

Puedes usar Gerente de sistemas de AWS como proxy para la conexión SSH. Agregue una entrada de host al archivo de configuración SSH ~/.ssh/config usando el siguiente ejemplo. Para el HostName , especifique el nombre de destino de Systems Manager en el formato de sagemaker-cluster:[cluster-id]_[instance-group-name]-[instance-id]. Para el IdentityFile , especifique la ruta del archivo a la clave privada SSH del usuario. Este campo no es obligatorio si elige la autenticación de contraseña.

Host MyCluster-LoginNode
    HostName sagemaker-cluster:abcd1234_LoginGroup-i-01234567890abcdef
    User user1
    IdentityFile ~/keys/my-cluster-ssh-key.pem
    ProxyCommand aws --profile default --region us-west-2 ssm start-session --target %h --document-name AWS-StartSSHSession --parameters portNumber=%p

Ejecute el ssh comando usando el nombre de host que especificó. Confirme que puede iniciar sesión en la instancia con el usuario especificado.

$ ssh MyCluster-LoginNode
   :
   :
   ____              __  ___     __             __ __                  ___          __
  / __/__ ____ ____ /  |/  /__ _/ /_____ ____  / // /_ _____  ___ ____/ _ ___  ___/ /
 _ / _ `/ _ `/ -_) /|_/ / _ `/  '_/ -_) __/ / _  / // / _ / -_) __/ ___/ _ / _  /
/___/_,_/_, /__/_/  /_/_,_/_/___/_/   /_//_/_, / .__/__/_/ /_/   ___/_,_/
         /___/                                    /___/_/
You're on the controller
Instance Type: ml.m5.xlarge
user1@ip-10-1-111-222:~$

En este punto, los usuarios aún pueden usar la sesión de shell predeterminada de Systems Manager para iniciar sesión en el clúster como ssm-user con privilegios administrativos. Para bloquear el acceso al shell predeterminado de Systems Manager y aplicar el acceso SSH, puede configurar su política de IAM consultando el siguiente ejemplo:

{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Action": [
                "ssm:StartSession",
                "ssm:TerminateSession"
            ],
            "Resource": [
                "arn:aws:sagemaker:us-west-2:123456789012:cluster/abcd1234efgh",
                "arn:aws:ssm:us-west-2:123456789012:document/AWS-StartSSHSession"
            ],
            "Condition": {
                "BoolIfExists": {
                    "ssm:SessionDocumentAccessCheck": "true"
                }
            }
        }
    ]
}

Para obtener más detalles sobre cómo imponer el acceso SSH, consulte Inicie una sesión con un documento especificando los documentos de la sesión en las políticas de IAM.

Opción 2: inicio de sesión SSH a través del host bastión

Otra opción para acceder al clúster es utilizar un anfitrión bastión como apoderado. Puede usar esta opción cuando el usuario no tiene permiso para usar sesiones de Systems Manager o para solucionar problemas cuando Systems Manager no funciona.

  1. Cree un grupo de seguridad bastión que permita el acceso SSH entrante (puerto TCP 22) desde su entorno local.
  2. Actualice el grupo de seguridad del clúster para permitir el acceso SSH entrante desde el grupo de seguridad bastión.
  3. Cree una instancia EC2 de Linux.
  4. Imagen de la máquina de Amazon, escoger Servidor Ubuntu 20.04 LTS.
  5. Tipo de instancia, escoger t3.pequeño.
  6. En Configuración de red sección, proporcione los siguientes parámetros:
    1. VPC, escoger SageMaker HyperPod VPC (que creó con la plantilla de CloudFormation).
    2. Subred, elija la subred pública que creó con la plantilla de CloudFormation.
    3. Grupos de seguridad comunes, elija el grupo de seguridad bastión que creó.
  7. Configurar almacenamiento, configure el almacenamiento en 8 GB.
  8. Identifique la dirección IP pública del host bastión y la dirección IP privada de la instancia de destino (por ejemplo, el nodo de inicio de sesión del clúster) y agregue dos entradas de host en la configuración SSH, consultando el siguiente ejemplo:
    Host Bastion
        HostName 11.22.33.44
        User ubuntu
        IdentityFile ~/keys/my-bastion-ssh-key.pem
    
    Host MyCluster-LoginNode-with-Proxy
        HostName 10.1.111.222
        User user1
        IdentityFile ~/keys/my-cluster-ssh-key.pem
        ProxyCommand ssh -q -W %h:%p Bastion

  9. Ejecute el ssh comando usando el nombre de host de destino que especificó anteriormente y confirme que puede iniciar sesión en la instancia con el usuario especificado:
    $ ssh MyCluster-LoginNode-with-Proxy
       :
       :
       ____              __  ___     __             __ __                  ___          __
      / __/__ ____ ____ /  |/  /__ _/ /_____ ____  / // /_ _____  ___ ____/ _ ___  ___/ /
     _ / _ `/ _ `/ -_) /|_/ / _ `/  '_/ -_) __/ / _  / // / _ / -_) __/ ___/ _ / _  /
    /___/_,_/_, /__/_/  /_/_,_/_/___/_/   /_//_/_, / .__/__/_/ /_/   ___/_,_/
             /___/                                    /___/_/
    You're on the controller
    Instance Type: ml.m5.xlarge
    user1@ip-10-1-111-222:~$

Limpiar

Limpia los recursos en el siguiente orden:

  1. Elimine el clúster HyperPod.
  2. Elimine el equilibrador de carga de red.
  3. Elimine el grupo objetivo de equilibrio de carga.
  4. Elimine el certificado importado al Administrador de certificados.
  5. Elimine la instancia EC2 de Windows.
  6. Elimine la instancia EC2 de Linux para el host bastión.
  7. Elimine el Microsoft AD administrado por AWS.
  8. Elimine la pila de CloudFormation para la VPC, las subredes, el grupo de seguridad y el volumen FSx para Lustre.

Conclusión

Esta publicación proporcionó pasos para crear un clúster HyperPod integrado con Active Directory. Esta solución elimina la molestia del mantenimiento de usuarios en clústeres de gran escala y le permite administrar usuarios y grupos de forma centralizada en un solo lugar.

Para obtener más información sobre HyperPod, consulte el Taller de hiperpod y del Guía para desarrolladores de SageMaker HyperPod. Deje sus comentarios sobre esta solución en la sección de comentarios.


Acerca de los autores

Tomonori Shimomura es arquitecto de soluciones senior en el equipo de Amazon SageMaker, donde brinda consultas técnicas detalladas a los clientes de SageMaker y sugiere mejoras de productos al equipo de producto. Antes de unirse a Amazon, trabajó en el diseño y desarrollo de software integrado para consolas de videojuegos y ahora aprovecha sus profundas habilidades en la tecnología del lado de la nube. En su tiempo libre, le gusta jugar videojuegos, leer libros y escribir software.

Giuseppe Angelo Porcelli es un Arquitecto Principal de Soluciones Especializado en Aprendizaje Automático para Amazon Web Services. Con varios años de ingeniería de software y experiencia en ML, trabaja con clientes de cualquier tamaño para comprender sus necesidades comerciales y técnicas y diseñar soluciones de IA y ML que aprovechen al máximo la nube de AWS y la pila de Amazon Machine Learning. Ha trabajado en proyectos en diferentes dominios, incluidos MLOps, visión por computadora y NLP, que involucran un amplio conjunto de servicios de AWS. En su tiempo libre, a Giuseppe le gusta jugar al fútbol.

Monidipa Chakraborty Actualmente se desempeña como ingeniero senior de desarrollo de software en Amazon Web Services (AWS), específicamente dentro del equipo de SageMaker HyperPod. Está comprometida a ayudar a los clientes mediante el diseño e implementación de sistemas robustos y escalables que demuestren excelencia operativa. Con casi una década de experiencia en desarrollo de software, Monidipa ha contribuido a varios sectores dentro de Amazon, incluidos vídeo, venta minorista, Amazon Go y AWS SageMaker.

Satish Pasumarthi es desarrollador de software en Amazon Web Services. Con varios años de ingeniería de software y experiencia en ML, le encanta cerrar la brecha entre ML y los sistemas y le apasiona construir sistemas que hagan posible la capacitación de modelos a gran escala. Ha trabajado en proyectos en una variedad de dominios, incluidos marcos de aprendizaje automático, evaluación comparativa de modelos y creación de hiperpod beta que involucra un amplio conjunto de servicios de AWS. En su tiempo libre, a Satish le gusta jugar al bádminton.

punto_img

Información más reciente

punto_img

Habla con nosotros!

¡Hola! ¿Le puedo ayudar en algo?