from PyAnnote.audio import Pipeline

def model_fn(model_dir):
# Load the model from the specified model directory
model = Pipeline.from_pretrained(
"PyAnnote/speaker-diarization-3.1",
use_auth_token="Replace-with-the-Hugging-face-auth-token")
return model

with open("model/code/requirements.txt", "w") as f:
    f.write("transformers==4.25.1n")
    f.write("boto3n")
    f.write("PyAnnote.audion")
    f.write("soundfilen")
    f.write("librosan")
    f.write("onnxruntimen")
    f.write("wgetn")
    f.write("pandas")

!tar zcvf model.tar.gz *

import sagemaker
import boto3

sess = sagemaker.Session()

sagemaker_session_bucket = None
if sagemaker_session_bucket is None and sess is not None:
    sagemaker_session_bucket = sess.default_bucket()

try:
    role = sagemaker.get_execution_role()
except ValueError:
    iam = boto3.client("iam")
    role = iam.get_role(RoleName="sagemaker_execution_role")["Role"]["Arn"]

sess = sagemaker.Session(default_bucket=sagemaker_session_bucket)

print(f"sagemaker role arn: {role}")
print(f"sagemaker bucket: {sess.default_bucket()}")
print(f"sagemaker session region: {sess.boto_region_name}")

s3_location = f"s3://{sagemaker_session_bucket}/whisper/model/model.tar.gz"
!aws s3 cp model.tar.gz $s3_location

from sagemaker.huggingface.model import HuggingFaceModel
from sagemaker.async_inference.async_inference_config import AsyncInferenceConfig
from sagemaker.s3 import s3_path_join
from sagemaker.utils import name_from_base

async_endpoint_name = name_from_base("custom-asyc")

# create Hugging Face Model Class
huggingface_model = HuggingFaceModel(
    model_data=s3_location,  # path to your model and script
    role=role,  # iam role with permissions to create an Endpoint
    transformers_version="4.17",  # transformers version used
    pytorch_version="1.10",  # pytorch version used
    py_version="py38",  # python version used
)

# create async endpoint configuration
async_config = AsyncInferenceConfig(
    output_path=s3_path_join(
        "s3://", sagemaker_session_bucket, "async_inference/output"
    ),  # Where our results will be stored
    # Add nofitication SNS if needed
    notification_config={
        # "SuccessTopic": "PUT YOUR SUCCESS SNS TOPIC ARN",
        # "ErrorTopic": "PUT YOUR ERROR SNS TOPIC ARN",
    },  #  Notification configuration
)

env = {"MODEL_SERVER_WORKERS": "2"}

# deploy the endpoint endpoint
async_predictor = huggingface_model.deploy(
    initial_instance_count=1,
    instance_type="ml.xx",
    async_inference_config=async_config,
    endpoint_name=async_endpoint_name,
    env=env,
)

# Replace with a path to audio object in S3
from sagemaker.async_inference import WaiterConfig
res = async_predictor.predict_async(data=data)
print(f"Response output path: {res.output_path}")
print("Start Polling to get response:")

config = WaiterConfig(
  max_attempts=10, #  number of attempts
  delay=10#  time in seconds to wait between attempts
  )
res.get_result(config)
#import waiterconfig

[0.9762308998, 8.9049235993, "SPEAKER_01"]

[9.533106961, 12.1646859083, "SPEAKER_01"]

[13.1324278438, 13.9303904924, "SPEAKER_00"]

[14.3548387097, 26.1884550085, "SPEAKER_00"]

[27.2410865874, 28.2258064516, "SPEAKER_01"]

[28.3446519525, 31.298811545, "SPEAKER_01"]

# Common class representing application autoscaling for SageMaker 
client = boto3.client('application-autoscaling') 

# This is the format in which application autoscaling references the endpoint
resource_id='endpoint/' + <endpoint_name> + '/variant/' + <'variant1'> 

# Define and register your endpoint variant
response = client.register_scalable_target(
    ServiceNamespace='sagemaker', 
    ResourceId=resource_id,
    ScalableDimension='sagemaker:variant:DesiredInstanceCount', # The number of EC2 instances for your Amazon SageMaker model endpoint variant.
    MinCapacity=0,
    MaxCapacity=5
)

Uç noktayı silmek istiyorsanız aşağıdaki kodu kullanın:

async_predictor.delete_endpoint(async_endpoint_name)

Eşzamansız uç nokta dağıtımının faydaları

Bu çözüm aşağıdaki avantajları sunar:

• Çözüm, birden fazla veya büyük ses dosyasını verimli bir şekilde işleyebilir.
• Bu örnekte gösterim için tek bir örnek kullanılmaktadır. Bu çözümü yüzlerce veya binlerce video için kullanmak ve birden çok örnekte işlem yapmak için eşzamansız bir uç nokta kullanmak istiyorsanız, otomatik ölçeklendirme politikasıÇok sayıda kaynak belge için tasarlanmıştır. Otomatik ölçeklendirme, iş yükünüzdeki değişikliklere yanıt olarak bir model için sağlanan bulut sunucusu sayısını dinamik olarak ayarlar.
• Çözüm, uzun süredir devam eden görevleri gerçek zamanlı çıkarımlardan ayırarak kaynakları optimize eder ve sistem yükünü azaltır.

Sonuç

Bu yazıda, Hugging Face'in konuşmacı günlüğü modelini Python komut dosyalarını kullanarak SageMaker'da dağıtmak için basit bir yaklaşım sunduk. Eşzamansız bir uç noktanın kullanılması, günlük oluşturma tahminlerini bir hizmet olarak sunmak için etkili ve ölçeklenebilir bir araç sağlar ve eşzamanlı istekleri sorunsuz bir şekilde karşılar.

Ses projeleriniz için eşzamansız konuşmacı günlüğü oluşturmaya bugün başlayın. Kendi eşzamansız günlük oluşturma uç noktanızı çalışır duruma getirme konusunda sorularınız varsa yorumlardan bize ulaşın.

Yazarlar Hakkında

Sanjay Tiwary zamanını stratejik müşterilerle çalışarak iş gereksinimlerini tanımlamak, belirli kullanım örnekleri etrafında L300 oturumları sağlamak ve ölçeklenebilir, güvenilir ve performanslı AI/ML uygulamaları ve hizmetleri tasarlamak için harcayan bir Uzman Çözüm Mimarı AI/ML'dir. AI/ML destekli Amazon SageMaker hizmetinin başlatılmasına ve ölçeklendirilmesine yardımcı oldu ve Amazon AI hizmetlerini kullanarak çeşitli konsept kanıtları uyguladı. Ayrıca dijital dönüşüm yolculuğunun bir parçası olarak ileri analitik platformunu da geliştirdi.

Kiran Challapalli AWS kamu sektöründe derin teknoloji iş geliştiricisidir. AI/ML'de 8 yıldan fazla deneyime ve 23 yıllık genel yazılım geliştirme ve satış deneyimine sahiptir. Kiran, Hindistan'daki kamu sektörü işletmelerinin yapay zeka, makine öğrenimi ve büyük dil modelleri de dahil olmak üzere üretken yapay zeka teknolojilerini kullanan bulut tabanlı çözümleri keşfetmesine ve birlikte oluşturmasına yardımcı oluyor.