from PyAnnote.audio import Pipeline

def model_fn(model_dir):
# Load the model from the specified model directory
model = Pipeline.from_pretrained(
"PyAnnote/speaker-diarization-3.1",
use_auth_token="Replace-with-the-Hugging-face-auth-token")
return model

with open("model/code/requirements.txt", "w") as f:
    f.write("transformers==4.25.1n")
    f.write("boto3n")
    f.write("PyAnnote.audion")
    f.write("soundfilen")
    f.write("librosan")
    f.write("onnxruntimen")
    f.write("wgetn")
    f.write("pandas")

!tar zcvf model.tar.gz *

import sagemaker
import boto3

sess = sagemaker.Session()

sagemaker_session_bucket = None
if sagemaker_session_bucket is None and sess is not None:
    sagemaker_session_bucket = sess.default_bucket()

try:
    role = sagemaker.get_execution_role()
except ValueError:
    iam = boto3.client("iam")
    role = iam.get_role(RoleName="sagemaker_execution_role")["Role"]["Arn"]

sess = sagemaker.Session(default_bucket=sagemaker_session_bucket)

print(f"sagemaker role arn: {role}")
print(f"sagemaker bucket: {sess.default_bucket()}")
print(f"sagemaker session region: {sess.boto_region_name}")

s3_location = f"s3://{sagemaker_session_bucket}/whisper/model/model.tar.gz"
!aws s3 cp model.tar.gz $s3_location

from sagemaker.huggingface.model import HuggingFaceModel
from sagemaker.async_inference.async_inference_config import AsyncInferenceConfig
from sagemaker.s3 import s3_path_join
from sagemaker.utils import name_from_base

async_endpoint_name = name_from_base("custom-asyc")

# create Hugging Face Model Class
huggingface_model = HuggingFaceModel(
    model_data=s3_location,  # path to your model and script
    role=role,  # iam role with permissions to create an Endpoint
    transformers_version="4.17",  # transformers version used
    pytorch_version="1.10",  # pytorch version used
    py_version="py38",  # python version used
)

# create async endpoint configuration
async_config = AsyncInferenceConfig(
    output_path=s3_path_join(
        "s3://", sagemaker_session_bucket, "async_inference/output"
    ),  # Where our results will be stored
    # Add nofitication SNS if needed
    notification_config={
        # "SuccessTopic": "PUT YOUR SUCCESS SNS TOPIC ARN",
        # "ErrorTopic": "PUT YOUR ERROR SNS TOPIC ARN",
    },  #  Notification configuration
)

env = {"MODEL_SERVER_WORKERS": "2"}

# deploy the endpoint endpoint
async_predictor = huggingface_model.deploy(
    initial_instance_count=1,
    instance_type="ml.xx",
    async_inference_config=async_config,
    endpoint_name=async_endpoint_name,
    env=env,
)

# Replace with a path to audio object in S3
from sagemaker.async_inference import WaiterConfig
res = async_predictor.predict_async(data=data)
print(f"Response output path: {res.output_path}")
print("Start Polling to get response:")

config = WaiterConfig(
  max_attempts=10, #  number of attempts
  delay=10#  time in seconds to wait between attempts
  )
res.get_result(config)
#import waiterconfig

[0.9762308998, 8.9049235993, "SPEAKER_01"]

[9.533106961, 12.1646859083, "SPEAKER_01"]

[13.1324278438, 13.9303904924, "SPEAKER_00"]

[14.3548387097, 26.1884550085, "SPEAKER_00"]

[27.2410865874, 28.2258064516, "SPEAKER_01"]

[28.3446519525, 31.298811545, "SPEAKER_01"]

# Common class representing application autoscaling for SageMaker 
client = boto3.client('application-autoscaling') 

# This is the format in which application autoscaling references the endpoint
resource_id='endpoint/' + <endpoint_name> + '/variant/' + <'variant1'> 

# Define and register your endpoint variant
response = client.register_scalable_target(
    ServiceNamespace='sagemaker', 
    ResourceId=resource_id,
    ScalableDimension='sagemaker:variant:DesiredInstanceCount', # The number of EC2 instances for your Amazon SageMaker model endpoint variant.
    MinCapacity=0,
    MaxCapacity=5
)

Nếu bạn muốn xóa điểm cuối, hãy sử dụng đoạn mã sau:

async_predictor.delete_endpoint(async_endpoint_name)

Lợi ích của việc triển khai điểm cuối không đồng bộ

Giải pháp này mang lại những lợi ích sau:

• Giải pháp có thể xử lý hiệu quả nhiều tệp âm thanh lớn hoặc lớn.
• Ví dụ này sử dụng một trường hợp duy nhất để trình diễn. Nếu bạn muốn sử dụng giải pháp này cho hàng trăm hoặc hàng nghìn video và sử dụng điểm cuối không đồng bộ để xử lý trên nhiều phiên bản, bạn có thể sử dụng chính sách mở rộng tự động, được thiết kế cho một số lượng lớn các tài liệu nguồn. Tự động thay đổi quy mô sẽ tự động điều chỉnh số lượng phiên bản được cung cấp cho một mô hình để đáp ứng những thay đổi trong khối lượng công việc của bạn.
• Giải pháp tối ưu hóa tài nguyên và giảm tải hệ thống bằng cách tách các tác vụ chạy dài khỏi suy luận thời gian thực.

Kết luận

Trong bài đăng này, chúng tôi đã cung cấp một cách tiếp cận đơn giản để triển khai mô hình ghi nhật ký loa của Hugging Face trên SageMaker bằng cách sử dụng tập lệnh Python. Việc sử dụng điểm cuối không đồng bộ cung cấp một phương tiện hiệu quả và có thể mở rộng để cung cấp các dự đoán phân tích dữ liệu dưới dạng dịch vụ, đáp ứng các yêu cầu đồng thời một cách liền mạch.

Hãy bắt đầu ngay hôm nay với tính năng ghi nhật ký loa không đồng bộ cho các dự án âm thanh của bạn. Hãy liên hệ trong phần nhận xét nếu bạn có bất kỳ câu hỏi nào về việc thiết lập và chạy điểm cuối ghi nhật ký không đồng bộ của riêng mình.

Về các tác giả

Sanjay Tiwary là Kiến trúc sư giải pháp chuyên gia AI/ML, người dành thời gian làm việc với các khách hàng chiến lược để xác định các yêu cầu kinh doanh, cung cấp các phiên L300 xung quanh các trường hợp sử dụng cụ thể, đồng thời thiết kế các ứng dụng và dịch vụ AI/ML có khả năng mở rộng, đáng tin cậy và hiệu quả. Anh ấy đã giúp khởi chạy và mở rộng quy mô dịch vụ Amazon SageMaker được hỗ trợ bởi AI/ML và đã triển khai một số bằng chứng về khái niệm bằng cách sử dụng các dịch vụ AI của Amazon. Anh cũng đã phát triển nền tảng phân tích nâng cao như một phần của hành trình chuyển đổi kỹ thuật số.

Kiran Challapalli là nhà phát triển kinh doanh công nghệ sâu hoạt động trong khu vực công AWS. Ông có hơn 8 năm kinh nghiệm về AI/ML và 23 năm kinh nghiệm bán hàng và phát triển phần mềm tổng thể. Kiran giúp các doanh nghiệp khu vực công trên khắp Ấn Độ khám phá và đồng tạo ra các giải pháp dựa trên đám mây sử dụng AI, ML và AI tổng quát—bao gồm các công nghệ—mô hình ngôn ngữ lớn.