from PyAnnote.audio import Pipeline

def model_fn(model_dir):
# Load the model from the specified model directory
model = Pipeline.from_pretrained(
"PyAnnote/speaker-diarization-3.1",
use_auth_token="Replace-with-the-Hugging-face-auth-token")
return model

with open("model/code/requirements.txt", "w") as f:
    f.write("transformers==4.25.1n")
    f.write("boto3n")
    f.write("PyAnnote.audion")
    f.write("soundfilen")
    f.write("librosan")
    f.write("onnxruntimen")
    f.write("wgetn")
    f.write("pandas")

!tar zcvf model.tar.gz *

import sagemaker
import boto3

sess = sagemaker.Session()

sagemaker_session_bucket = None
if sagemaker_session_bucket is None and sess is not None:
    sagemaker_session_bucket = sess.default_bucket()

try:
    role = sagemaker.get_execution_role()
except ValueError:
    iam = boto3.client("iam")
    role = iam.get_role(RoleName="sagemaker_execution_role")["Role"]["Arn"]

sess = sagemaker.Session(default_bucket=sagemaker_session_bucket)

print(f"sagemaker role arn: {role}")
print(f"sagemaker bucket: {sess.default_bucket()}")
print(f"sagemaker session region: {sess.boto_region_name}")

s3_location = f"s3://{sagemaker_session_bucket}/whisper/model/model.tar.gz"
!aws s3 cp model.tar.gz $s3_location

from sagemaker.huggingface.model import HuggingFaceModel
from sagemaker.async_inference.async_inference_config import AsyncInferenceConfig
from sagemaker.s3 import s3_path_join
from sagemaker.utils import name_from_base

async_endpoint_name = name_from_base("custom-asyc")

# create Hugging Face Model Class
huggingface_model = HuggingFaceModel(
    model_data=s3_location,  # path to your model and script
    role=role,  # iam role with permissions to create an Endpoint
    transformers_version="4.17",  # transformers version used
    pytorch_version="1.10",  # pytorch version used
    py_version="py38",  # python version used
)

# create async endpoint configuration
async_config = AsyncInferenceConfig(
    output_path=s3_path_join(
        "s3://", sagemaker_session_bucket, "async_inference/output"
    ),  # Where our results will be stored
    # Add nofitication SNS if needed
    notification_config={
        # "SuccessTopic": "PUT YOUR SUCCESS SNS TOPIC ARN",
        # "ErrorTopic": "PUT YOUR ERROR SNS TOPIC ARN",
    },  #  Notification configuration
)

env = {"MODEL_SERVER_WORKERS": "2"}

# deploy the endpoint endpoint
async_predictor = huggingface_model.deploy(
    initial_instance_count=1,
    instance_type="ml.xx",
    async_inference_config=async_config,
    endpoint_name=async_endpoint_name,
    env=env,
)

# Replace with a path to audio object in S3
from sagemaker.async_inference import WaiterConfig
res = async_predictor.predict_async(data=data)
print(f"Response output path: {res.output_path}")
print("Start Polling to get response:")

config = WaiterConfig(
  max_attempts=10, #  number of attempts
  delay=10#  time in seconds to wait between attempts
  )
res.get_result(config)
#import waiterconfig

[0.9762308998, 8.9049235993, "SPEAKER_01"]

[9.533106961, 12.1646859083, "SPEAKER_01"]

[13.1324278438, 13.9303904924, "SPEAKER_00"]

[14.3548387097, 26.1884550085, "SPEAKER_00"]

[27.2410865874, 28.2258064516, "SPEAKER_01"]

[28.3446519525, 31.298811545, "SPEAKER_01"]

# Common class representing application autoscaling for SageMaker 
client = boto3.client('application-autoscaling') 

# This is the format in which application autoscaling references the endpoint
resource_id='endpoint/' + <endpoint_name> + '/variant/' + <'variant1'> 

# Define and register your endpoint variant
response = client.register_scalable_target(
    ServiceNamespace='sagemaker', 
    ResourceId=resource_id,
    ScalableDimension='sagemaker:variant:DesiredInstanceCount', # The number of EC2 instances for your Amazon SageMaker model endpoint variant.
    MinCapacity=0,
    MaxCapacity=5
)

Wenn Sie den Endpunkt löschen möchten, verwenden Sie den folgenden Code:

async_predictor.delete_endpoint(async_endpoint_name)

Vorteile der asynchronen Endpunktbereitstellung

Diese Lösung bietet folgende Vorteile:

• Die Lösung kann mehrere oder große Audiodateien effizient verarbeiten.
• In diesem Beispiel wird eine einzelne Instanz zur Demonstration verwendet. Wenn Sie diese Lösung für Hunderte oder Tausende von Videos verwenden und einen asynchronen Endpunkt für die Verarbeitung über mehrere Instanzen hinweg verwenden möchten, können Sie einen verwenden Auto Scaling-Richtlinie, das für eine große Anzahl von Quelldokumenten konzipiert ist. Die automatische Skalierung passt die Anzahl der für ein Modell bereitgestellten Instanzen dynamisch als Reaktion auf Änderungen in Ihrer Arbeitslast an.
• Die Lösung optimiert Ressourcen und reduziert die Systemlast, indem sie lang laufende Aufgaben von der Echtzeitinferenz trennt.

Zusammenfassung

In diesem Beitrag haben wir einen unkomplizierten Ansatz zur Bereitstellung des Sprecherdialogmodells von Hugging Face auf SageMaker mithilfe von Python-Skripten bereitgestellt. Die Verwendung eines asynchronen Endpunkts bietet eine effiziente und skalierbare Möglichkeit, Diarisierungsvorhersagen als Dienst bereitzustellen und gleichzeitig gleichzeitige Anforderungen nahtlos zu verarbeiten.

Beginnen Sie noch heute mit der asynchronen Lautsprecherdialogisierung für Ihre Audioprojekte. Wenn Sie Fragen zur Inbetriebnahme Ihres eigenen asynchronen Diarisierungsendpunkts haben, schreiben Sie uns in die Kommentare.

Über die Autoren

Sanjay Tiwary ist ein spezialisierter Lösungsarchitekt für KI/ML, der seine Zeit damit verbringt, mit strategischen Kunden zusammenzuarbeiten, um Geschäftsanforderungen zu definieren, L300-Sitzungen zu bestimmten Anwendungsfällen bereitzustellen und KI/ML-Anwendungen und -Dienste zu entwerfen, die skalierbar, zuverlässig und leistungsfähig sind. Er hat bei der Einführung und Skalierung des KI/ML-gestützten Amazon SageMaker-Dienstes mitgeholfen und mehrere Proofs of Concept mithilfe von Amazon AI-Diensten implementiert. Im Rahmen der digitalen Transformation hat er außerdem die Advanced-Analytics-Plattform entwickelt.

Kiran Challapalli ist ein Deep-Tech-Geschäftsentwickler im öffentlichen AWS-Sektor. Er verfügt über mehr als 8 Jahre Erfahrung im Bereich KI/ML und insgesamt 23 Jahre Erfahrung in der Softwareentwicklung und im Vertrieb. Kiran unterstützt Unternehmen des öffentlichen Sektors in ganz Indien bei der Erforschung und Mitentwicklung cloudbasierter Lösungen, die KI-, ML- und generative KI-Technologien – einschließlich großer Sprachmodelle – nutzen.