from PyAnnote.audio import Pipeline

def model_fn(model_dir):
# Load the model from the specified model directory
model = Pipeline.from_pretrained(
"PyAnnote/speaker-diarization-3.1",
use_auth_token="Replace-with-the-Hugging-face-auth-token")
return model

with open("model/code/requirements.txt", "w") as f:
    f.write("transformers==4.25.1n")
    f.write("boto3n")
    f.write("PyAnnote.audion")
    f.write("soundfilen")
    f.write("librosan")
    f.write("onnxruntimen")
    f.write("wgetn")
    f.write("pandas")

!tar zcvf model.tar.gz *

import sagemaker
import boto3

sess = sagemaker.Session()

sagemaker_session_bucket = None
if sagemaker_session_bucket is None and sess is not None:
    sagemaker_session_bucket = sess.default_bucket()

try:
    role = sagemaker.get_execution_role()
except ValueError:
    iam = boto3.client("iam")
    role = iam.get_role(RoleName="sagemaker_execution_role")["Role"]["Arn"]

sess = sagemaker.Session(default_bucket=sagemaker_session_bucket)

print(f"sagemaker role arn: {role}")
print(f"sagemaker bucket: {sess.default_bucket()}")
print(f"sagemaker session region: {sess.boto_region_name}")

s3_location = f"s3://{sagemaker_session_bucket}/whisper/model/model.tar.gz"
!aws s3 cp model.tar.gz $s3_location

from sagemaker.huggingface.model import HuggingFaceModel
from sagemaker.async_inference.async_inference_config import AsyncInferenceConfig
from sagemaker.s3 import s3_path_join
from sagemaker.utils import name_from_base

async_endpoint_name = name_from_base("custom-asyc")

# create Hugging Face Model Class
huggingface_model = HuggingFaceModel(
    model_data=s3_location,  # path to your model and script
    role=role,  # iam role with permissions to create an Endpoint
    transformers_version="4.17",  # transformers version used
    pytorch_version="1.10",  # pytorch version used
    py_version="py38",  # python version used
)

# create async endpoint configuration
async_config = AsyncInferenceConfig(
    output_path=s3_path_join(
        "s3://", sagemaker_session_bucket, "async_inference/output"
    ),  # Where our results will be stored
    # Add nofitication SNS if needed
    notification_config={
        # "SuccessTopic": "PUT YOUR SUCCESS SNS TOPIC ARN",
        # "ErrorTopic": "PUT YOUR ERROR SNS TOPIC ARN",
    },  #  Notification configuration
)

env = {"MODEL_SERVER_WORKERS": "2"}

# deploy the endpoint endpoint
async_predictor = huggingface_model.deploy(
    initial_instance_count=1,
    instance_type="ml.xx",
    async_inference_config=async_config,
    endpoint_name=async_endpoint_name,
    env=env,
)

# Replace with a path to audio object in S3
from sagemaker.async_inference import WaiterConfig
res = async_predictor.predict_async(data=data)
print(f"Response output path: {res.output_path}")
print("Start Polling to get response:")

config = WaiterConfig(
  max_attempts=10, #  number of attempts
  delay=10#  time in seconds to wait between attempts
  )
res.get_result(config)
#import waiterconfig

[0.9762308998, 8.9049235993, "SPEAKER_01"]

[9.533106961, 12.1646859083, "SPEAKER_01"]

[13.1324278438, 13.9303904924, "SPEAKER_00"]

[14.3548387097, 26.1884550085, "SPEAKER_00"]

[27.2410865874, 28.2258064516, "SPEAKER_01"]

[28.3446519525, 31.298811545, "SPEAKER_01"]

# Common class representing application autoscaling for SageMaker 
client = boto3.client('application-autoscaling') 

# This is the format in which application autoscaling references the endpoint
resource_id='endpoint/' + <endpoint_name> + '/variant/' + <'variant1'> 

# Define and register your endpoint variant
response = client.register_scalable_target(
    ServiceNamespace='sagemaker', 
    ResourceId=resource_id,
    ScalableDimension='sagemaker:variant:DesiredInstanceCount', # The number of EC2 instances for your Amazon SageMaker model endpoint variant.
    MinCapacity=0,
    MaxCapacity=5
)

Якщо ви хочете видалити кінцеву точку, використовуйте такий код:

async_predictor.delete_endpoint(async_endpoint_name)

Переваги асинхронного розгортання кінцевої точки

Це рішення пропонує такі переваги:

• Рішення може ефективно обробляти кілька або великі аудіофайли.
• У цьому прикладі використовується один екземпляр для демонстрації. Якщо ви хочете використовувати це рішення для сотень або тисяч відео та використовувати асинхронну кінцеву точку для обробки в кількох екземплярах, ви можете використовувати політика автоматичного масштабування, який розрахований на велику кількість вихідних документів. Автоматичне масштабування динамічно регулює кількість екземплярів, наданих для моделі, у відповідь на зміни у вашому робочому навантаженні.
• Рішення оптимізує ресурси та зменшує навантаження на систему, відокремлюючи довгострокові завдання від висновків у реальному часі.

Висновок

У цій публікації ми запропонували простий підхід до розгортання моделі діаризації мовця Hugging Face на SageMaker за допомогою сценаріїв Python. Використання асинхронної кінцевої точки забезпечує ефективний і масштабований засіб для доставки прогнозів діаризації як служби, безперебійно задовольняючи одночасні запити.

Почніть вже сьогодні з асинхронної діаризації динаміків для ваших аудіопроектів. Зв’яжіться з нами в коментарях, якщо у вас виникнуть запитання щодо запуску та запуску власної асинхронної кінцевої точки діаризації.

Про авторів

Санджай Тіварі є спеціалізованим архітектором рішень AI/ML, який проводить свій час, працюючи зі стратегічними клієнтами, щоб визначити бізнес-вимоги, забезпечити сеанси L300 для конкретних випадків використання та розробити програми та послуги AI/ML, які є масштабованими, надійними та продуктивними. Він допоміг запустити та розширити сервіс Amazon SageMaker на базі AI/ML і реалізував кілька доказів концепції за допомогою служб Amazon AI. Він також розробив передову аналітичну платформу як частину шляху цифрової трансформації.

Кіран Чаллапаллі є розробником глибоких технологій у державному секторі AWS. Він має понад 8 років досвіду роботи зі штучним інтелектом/ML і 23 роки загального досвіду розробки програмного забезпечення та продажів. Kiran допомагає підприємствам державного сектора по всій Індії досліджувати та спільно створювати хмарні рішення, які використовують штучний інтелект, машинне навчання та технології генеративного штучного інтелекту, включаючи великі мовні моделі.