from PyAnnote.audio import Pipeline

def model_fn(model_dir):
# Load the model from the specified model directory
model = Pipeline.from_pretrained(
"PyAnnote/speaker-diarization-3.1",
use_auth_token="Replace-with-the-Hugging-face-auth-token")
return model

with open("model/code/requirements.txt", "w") as f:
    f.write("transformers==4.25.1n")
    f.write("boto3n")
    f.write("PyAnnote.audion")
    f.write("soundfilen")
    f.write("librosan")
    f.write("onnxruntimen")
    f.write("wgetn")
    f.write("pandas")

!tar zcvf model.tar.gz *

import sagemaker
import boto3

sess = sagemaker.Session()

sagemaker_session_bucket = None
if sagemaker_session_bucket is None and sess is not None:
    sagemaker_session_bucket = sess.default_bucket()

try:
    role = sagemaker.get_execution_role()
except ValueError:
    iam = boto3.client("iam")
    role = iam.get_role(RoleName="sagemaker_execution_role")["Role"]["Arn"]

sess = sagemaker.Session(default_bucket=sagemaker_session_bucket)

print(f"sagemaker role arn: {role}")
print(f"sagemaker bucket: {sess.default_bucket()}")
print(f"sagemaker session region: {sess.boto_region_name}")

s3_location = f"s3://{sagemaker_session_bucket}/whisper/model/model.tar.gz"
!aws s3 cp model.tar.gz $s3_location

from sagemaker.huggingface.model import HuggingFaceModel
from sagemaker.async_inference.async_inference_config import AsyncInferenceConfig
from sagemaker.s3 import s3_path_join
from sagemaker.utils import name_from_base

async_endpoint_name = name_from_base("custom-asyc")

# create Hugging Face Model Class
huggingface_model = HuggingFaceModel(
    model_data=s3_location,  # path to your model and script
    role=role,  # iam role with permissions to create an Endpoint
    transformers_version="4.17",  # transformers version used
    pytorch_version="1.10",  # pytorch version used
    py_version="py38",  # python version used
)

# create async endpoint configuration
async_config = AsyncInferenceConfig(
    output_path=s3_path_join(
        "s3://", sagemaker_session_bucket, "async_inference/output"
    ),  # Where our results will be stored
    # Add nofitication SNS if needed
    notification_config={
        # "SuccessTopic": "PUT YOUR SUCCESS SNS TOPIC ARN",
        # "ErrorTopic": "PUT YOUR ERROR SNS TOPIC ARN",
    },  #  Notification configuration
)

env = {"MODEL_SERVER_WORKERS": "2"}

# deploy the endpoint endpoint
async_predictor = huggingface_model.deploy(
    initial_instance_count=1,
    instance_type="ml.xx",
    async_inference_config=async_config,
    endpoint_name=async_endpoint_name,
    env=env,
)

# Replace with a path to audio object in S3
from sagemaker.async_inference import WaiterConfig
res = async_predictor.predict_async(data=data)
print(f"Response output path: {res.output_path}")
print("Start Polling to get response:")

config = WaiterConfig(
  max_attempts=10, #  number of attempts
  delay=10#  time in seconds to wait between attempts
  )
res.get_result(config)
#import waiterconfig

[0.9762308998, 8.9049235993, "SPEAKER_01"]

[9.533106961, 12.1646859083, "SPEAKER_01"]

[13.1324278438, 13.9303904924, "SPEAKER_00"]

[14.3548387097, 26.1884550085, "SPEAKER_00"]

[27.2410865874, 28.2258064516, "SPEAKER_01"]

[28.3446519525, 31.298811545, "SPEAKER_01"]

# Common class representing application autoscaling for SageMaker 
client = boto3.client('application-autoscaling') 

# This is the format in which application autoscaling references the endpoint
resource_id='endpoint/' + <endpoint_name> + '/variant/' + <'variant1'> 

# Define and register your endpoint variant
response = client.register_scalable_target(
    ServiceNamespace='sagemaker', 
    ResourceId=resource_id,
    ScalableDimension='sagemaker:variant:DesiredInstanceCount', # The number of EC2 instances for your Amazon SageMaker model endpoint variant.
    MinCapacity=0,
    MaxCapacity=5
)

Kui soovite lõpp-punkti kustutada, kasutage järgmist koodi:

async_predictor.delete_endpoint(async_endpoint_name)

Asünkroonse lõpp-punkti juurutamise eelised

See lahendus pakub järgmisi eeliseid:

• Lahendus suudab tõhusalt käsitleda mitut või suurt helifaili.
• See näide kasutab demonstreerimiseks ühte eksemplari. Kui soovite seda lahendust kasutada sadade või tuhandete videote jaoks ja kasutada mitme eksemplari töötlemiseks asünkroonset lõpp-punkti, saate kasutada automaatse skaleerimise poliitika, mis on mõeldud suure hulga algdokumentide jaoks. Automaatne skaleerimine kohandab dünaamiliselt mudeli jaoks ette nähtud eksemplaride arvu vastavalt teie töökoormuse muutustele.
• Lahendus optimeerib ressursse ja vähendab süsteemi koormust, eraldades kauakestvad ülesanded reaalajas järeldustest.

Järeldus

Selles postituses pakkusime lihtsat lähenemisviisi Hugging Face'i kõlarite diariseerimismudeli juurutamiseks Pythoni skripte kasutades SageMakeris. Asünkroonse lõpp-punkti kasutamine pakub tõhusat ja skaleeritavat vahendit diariseerimisprognooside edastamiseks teenusena, mis võimaldab samaaegseid taotlusi sujuvalt vastu võtta.

Alustage juba täna oma heliprojektide jaoks asünkroonse kõlarite diariseerimisega. Kui teil on küsimusi oma asünkroonse diarisatsiooni lõpp-punkti käivitamise ja käivitamise kohta, võtke ühendust kommentaarides.

Autoritest

Sanjay Tiwary on spetsialiseerunud lahenduste arhitekti AI/ML, kes veedab oma aega strateegiliste klientidega töötades, et määratleda ärinõuded, pakkuda L300 seansse konkreetsete kasutusjuhtude kohta ning kavandada AI/ML-i rakendusi ja teenuseid, mis on skaleeritavad, usaldusväärsed ja toimivad. Ta on aidanud käivitada ja skaleerida AI/ML-i toega Amazon SageMakeri teenust ning rakendanud mitmeid kontseptsiooni tõendeid, kasutades Amazoni AI teenuseid. Samuti on ta digitaalse ümberkujundamise teekonna osana välja töötanud täiustatud analüütikaplatvormi.

Kiran Challapalli on süvatehnoloogia äriarendaja koos AWS-i avaliku sektoriga. Tal on üle 8-aastane AI/ML-i kogemus ning 23-aastane üldine tarkvaraarenduse ja müügikogemus. Kiran aitab avaliku sektori ettevõtetel kogu Indias uurida ja kaasluua pilvepõhiseid lahendusi, mis kasutavad tehisintellekti, ML ja generatiivset tehisintellekti – sealhulgas suuri keelemudeleid – tehnoloogiaid.