from PyAnnote.audio import Pipeline

def model_fn(model_dir):
# Load the model from the specified model directory
model = Pipeline.from_pretrained(
"PyAnnote/speaker-diarization-3.1",
use_auth_token="Replace-with-the-Hugging-face-auth-token")
return model

with open("model/code/requirements.txt", "w") as f:
    f.write("transformers==4.25.1n")
    f.write("boto3n")
    f.write("PyAnnote.audion")
    f.write("soundfilen")
    f.write("librosan")
    f.write("onnxruntimen")
    f.write("wgetn")
    f.write("pandas")

!tar zcvf model.tar.gz *

import sagemaker
import boto3

sess = sagemaker.Session()

sagemaker_session_bucket = None
if sagemaker_session_bucket is None and sess is not None:
    sagemaker_session_bucket = sess.default_bucket()

try:
    role = sagemaker.get_execution_role()
except ValueError:
    iam = boto3.client("iam")
    role = iam.get_role(RoleName="sagemaker_execution_role")["Role"]["Arn"]

sess = sagemaker.Session(default_bucket=sagemaker_session_bucket)

print(f"sagemaker role arn: {role}")
print(f"sagemaker bucket: {sess.default_bucket()}")
print(f"sagemaker session region: {sess.boto_region_name}")

s3_location = f"s3://{sagemaker_session_bucket}/whisper/model/model.tar.gz"
!aws s3 cp model.tar.gz $s3_location

from sagemaker.huggingface.model import HuggingFaceModel
from sagemaker.async_inference.async_inference_config import AsyncInferenceConfig
from sagemaker.s3 import s3_path_join
from sagemaker.utils import name_from_base

async_endpoint_name = name_from_base("custom-asyc")

# create Hugging Face Model Class
huggingface_model = HuggingFaceModel(
    model_data=s3_location,  # path to your model and script
    role=role,  # iam role with permissions to create an Endpoint
    transformers_version="4.17",  # transformers version used
    pytorch_version="1.10",  # pytorch version used
    py_version="py38",  # python version used
)

# create async endpoint configuration
async_config = AsyncInferenceConfig(
    output_path=s3_path_join(
        "s3://", sagemaker_session_bucket, "async_inference/output"
    ),  # Where our results will be stored
    # Add nofitication SNS if needed
    notification_config={
        # "SuccessTopic": "PUT YOUR SUCCESS SNS TOPIC ARN",
        # "ErrorTopic": "PUT YOUR ERROR SNS TOPIC ARN",
    },  #  Notification configuration
)

env = {"MODEL_SERVER_WORKERS": "2"}

# deploy the endpoint endpoint
async_predictor = huggingface_model.deploy(
    initial_instance_count=1,
    instance_type="ml.xx",
    async_inference_config=async_config,
    endpoint_name=async_endpoint_name,
    env=env,
)

# Replace with a path to audio object in S3
from sagemaker.async_inference import WaiterConfig
res = async_predictor.predict_async(data=data)
print(f"Response output path: {res.output_path}")
print("Start Polling to get response:")

config = WaiterConfig(
  max_attempts=10, #  number of attempts
  delay=10#  time in seconds to wait between attempts
  )
res.get_result(config)
#import waiterconfig

[0.9762308998, 8.9049235993, "SPEAKER_01"]

[9.533106961, 12.1646859083, "SPEAKER_01"]

[13.1324278438, 13.9303904924, "SPEAKER_00"]

[14.3548387097, 26.1884550085, "SPEAKER_00"]

[27.2410865874, 28.2258064516, "SPEAKER_01"]

[28.3446519525, 31.298811545, "SPEAKER_01"]

# Common class representing application autoscaling for SageMaker 
client = boto3.client('application-autoscaling') 

# This is the format in which application autoscaling references the endpoint
resource_id='endpoint/' + <endpoint_name> + '/variant/' + <'variant1'> 

# Define and register your endpoint variant
response = client.register_scalable_target(
    ServiceNamespace='sagemaker', 
    ResourceId=resource_id,
    ScalableDimension='sagemaker:variant:DesiredInstanceCount', # The number of EC2 instances for your Amazon SageMaker model endpoint variant.
    MinCapacity=0,
    MaxCapacity=5
)

Als u het eindpunt wilt verwijderen, gebruikt u de volgende code:

async_predictor.delete_endpoint(async_endpoint_name)

Voordelen van asynchrone eindpuntimplementatie

Deze oplossing biedt de volgende voordelen:

• De oplossing kan efficiënt meerdere of grote audiobestanden verwerken.
• In dit voorbeeld wordt één exemplaar gebruikt voor demonstratie. Als u deze oplossing voor honderden of duizenden video's wilt gebruiken en een asynchroon eindpunt wilt gebruiken voor de verwerking van meerdere exemplaren, kunt u een beleid voor automatisch schalen, dat is ontworpen voor een groot aantal brondocumenten. Automatisch schalen past dynamisch het aantal exemplaren aan dat voor een model is ingericht als reactie op wijzigingen in uw werklast.
• De oplossing optimaliseert bronnen en vermindert de systeembelasting door langlopende taken te scheiden van realtime gevolgtrekkingen.

Conclusie

In dit bericht hebben we een eenvoudige aanpak gegeven om het sprekersdiariseringsmodel van Hugging Face op SageMaker te implementeren met behulp van Python-scripts. Het gebruik van een asynchroon eindpunt biedt een efficiënte en schaalbare manier om dagboekvoorspellingen als een service te leveren, waarbij gelijktijdige aanvragen naadloos kunnen worden geaccommodeerd.

Ga vandaag nog aan de slag met asynchrone luidsprekerdialoog voor uw audioprojecten. Neem contact op in de reacties als u vragen heeft over het operationeel krijgen van uw eigen asynchrone dagboekbeheer-eindpunt.

Over de auteurs

Sanjay Tiwary is een Specialist Solutions Architect AI/ML die zijn tijd besteedt aan het werken met strategische klanten om zakelijke vereisten te definiëren, L300-sessies te verzorgen rond specifieke gebruiksscenario's en AI/ML-applicaties en -diensten te ontwerpen die schaalbaar, betrouwbaar en performant zijn. Hij heeft geholpen bij het lanceren en opschalen van de door AI/ML aangedreven Amazon SageMaker-service en heeft verschillende proofs of concept geïmplementeerd met behulp van Amazon AI-services. Hij heeft ook het geavanceerde analyseplatform ontwikkeld als onderdeel van het digitale transformatietraject.

Kiran Challapalli is een deep tech business developer bij de AWS publieke sector. Hij heeft meer dan 8 jaar ervaring in AI/ML en 23 jaar algemene softwareontwikkeling en verkoopervaring. Kiran helpt bedrijven in de publieke sector in heel India bij het verkennen en co-creëren van cloudgebaseerde oplossingen die gebruik maken van AI, ML en generatieve AI, inclusief grote taalmodellen, technologieën.