from PyAnnote.audio import Pipeline

def model_fn(model_dir):
# Load the model from the specified model directory
model = Pipeline.from_pretrained(
"PyAnnote/speaker-diarization-3.1",
use_auth_token="Replace-with-the-Hugging-face-auth-token")
return model

with open("model/code/requirements.txt", "w") as f:
    f.write("transformers==4.25.1n")
    f.write("boto3n")
    f.write("PyAnnote.audion")
    f.write("soundfilen")
    f.write("librosan")
    f.write("onnxruntimen")
    f.write("wgetn")
    f.write("pandas")

!tar zcvf model.tar.gz *

import sagemaker
import boto3

sess = sagemaker.Session()

sagemaker_session_bucket = None
if sagemaker_session_bucket is None and sess is not None:
    sagemaker_session_bucket = sess.default_bucket()

try:
    role = sagemaker.get_execution_role()
except ValueError:
    iam = boto3.client("iam")
    role = iam.get_role(RoleName="sagemaker_execution_role")["Role"]["Arn"]

sess = sagemaker.Session(default_bucket=sagemaker_session_bucket)

print(f"sagemaker role arn: {role}")
print(f"sagemaker bucket: {sess.default_bucket()}")
print(f"sagemaker session region: {sess.boto_region_name}")

s3_location = f"s3://{sagemaker_session_bucket}/whisper/model/model.tar.gz"
!aws s3 cp model.tar.gz $s3_location

from sagemaker.huggingface.model import HuggingFaceModel
from sagemaker.async_inference.async_inference_config import AsyncInferenceConfig
from sagemaker.s3 import s3_path_join
from sagemaker.utils import name_from_base

async_endpoint_name = name_from_base("custom-asyc")

# create Hugging Face Model Class
huggingface_model = HuggingFaceModel(
    model_data=s3_location,  # path to your model and script
    role=role,  # iam role with permissions to create an Endpoint
    transformers_version="4.17",  # transformers version used
    pytorch_version="1.10",  # pytorch version used
    py_version="py38",  # python version used
)

# create async endpoint configuration
async_config = AsyncInferenceConfig(
    output_path=s3_path_join(
        "s3://", sagemaker_session_bucket, "async_inference/output"
    ),  # Where our results will be stored
    # Add nofitication SNS if needed
    notification_config={
        # "SuccessTopic": "PUT YOUR SUCCESS SNS TOPIC ARN",
        # "ErrorTopic": "PUT YOUR ERROR SNS TOPIC ARN",
    },  #  Notification configuration
)

env = {"MODEL_SERVER_WORKERS": "2"}

# deploy the endpoint endpoint
async_predictor = huggingface_model.deploy(
    initial_instance_count=1,
    instance_type="ml.xx",
    async_inference_config=async_config,
    endpoint_name=async_endpoint_name,
    env=env,
)

# Replace with a path to audio object in S3
from sagemaker.async_inference import WaiterConfig
res = async_predictor.predict_async(data=data)
print(f"Response output path: {res.output_path}")
print("Start Polling to get response:")

config = WaiterConfig(
  max_attempts=10, #  number of attempts
  delay=10#  time in seconds to wait between attempts
  )
res.get_result(config)
#import waiterconfig

[0.9762308998, 8.9049235993, "SPEAKER_01"]

[9.533106961, 12.1646859083, "SPEAKER_01"]

[13.1324278438, 13.9303904924, "SPEAKER_00"]

[14.3548387097, 26.1884550085, "SPEAKER_00"]

[27.2410865874, 28.2258064516, "SPEAKER_01"]

[28.3446519525, 31.298811545, "SPEAKER_01"]

# Common class representing application autoscaling for SageMaker 
client = boto3.client('application-autoscaling') 

# This is the format in which application autoscaling references the endpoint
resource_id='endpoint/' + <endpoint_name> + '/variant/' + <'variant1'> 

# Define and register your endpoint variant
response = client.register_scalable_target(
    ServiceNamespace='sagemaker', 
    ResourceId=resource_id,
    ScalableDimension='sagemaker:variant:DesiredInstanceCount', # The number of EC2 instances for your Amazon SageMaker model endpoint variant.
    MinCapacity=0,
    MaxCapacity=5
)

Si vous souhaitez supprimer le point de terminaison, utilisez le code suivant :

async_predictor.delete_endpoint(async_endpoint_name)

Avantages du déploiement asynchrone des points de terminaison

Cette solution offre les avantages suivants :

• La solution peut gérer efficacement des fichiers audio multiples ou volumineux.
• Cet exemple utilise une seule instance pour la démonstration. Si vous souhaitez utiliser cette solution pour des centaines ou des milliers de vidéos et utiliser un point de terminaison asynchrone pour traiter plusieurs instances, vous pouvez utiliser un stratégie de mise à l'échelle automatique, conçu pour un grand nombre de documents sources. La mise à l'échelle automatique ajuste dynamiquement le nombre d'instances provisionnées pour un modèle en réponse aux modifications de votre charge de travail.
• La solution optimise les ressources et réduit la charge du système en séparant les tâches de longue durée de l'inférence en temps réel.

Conclusion

Dans cet article, nous avons proposé une approche simple pour déployer le modèle de diarisation des locuteurs de Hugging Face sur SageMaker à l'aide de scripts Python. L'utilisation d'un point de terminaison asynchrone fournit un moyen efficace et évolutif de fournir des prédictions de diarisation en tant que service, répondant ainsi aux demandes simultanées de manière transparente.

Commencez dès aujourd'hui avec la diarisation asynchrone des haut-parleurs pour vos projets audio. Contactez-nous dans les commentaires si vous avez des questions sur la mise en place et le fonctionnement de votre propre point de terminaison de diarisation asynchrone.

À propos des auteurs

Sanjay Tiwary est un architecte de solutions spécialisé IA/ML qui passe son temps à travailler avec des clients stratégiques pour définir les exigences commerciales, proposer des sessions L300 autour de cas d'utilisation spécifiques et concevoir des applications et des services IA/ML évolutifs, fiables et performants. Il a contribué au lancement et à la mise à l'échelle du service Amazon SageMaker alimenté par l'IA/ML et a mis en œuvre plusieurs preuves de concept à l'aide des services Amazon AI. Il a également développé la plateforme d'analyse avancée dans le cadre du parcours de transformation numérique.

Kiran Challapalli est un développeur commercial de technologies profondes auprès du secteur public AWS. Il possède plus de 8 ans d'expérience en IA/ML et 23 ans d'expérience globale en développement de logiciels et en vente. Kiran aide les entreprises du secteur public à travers l'Inde à explorer et co-créer des solutions basées sur le cloud qui utilisent les technologies d'IA, de ML et d'IA générative, y compris de grands modèles de langage.