from PyAnnote.audio import Pipeline

def model_fn(model_dir):
# Load the model from the specified model directory
model = Pipeline.from_pretrained(
"PyAnnote/speaker-diarization-3.1",
use_auth_token="Replace-with-the-Hugging-face-auth-token")
return model

with open("model/code/requirements.txt", "w") as f:
    f.write("transformers==4.25.1n")
    f.write("boto3n")
    f.write("PyAnnote.audion")
    f.write("soundfilen")
    f.write("librosan")
    f.write("onnxruntimen")
    f.write("wgetn")
    f.write("pandas")

!tar zcvf model.tar.gz *

import sagemaker
import boto3

sess = sagemaker.Session()

sagemaker_session_bucket = None
if sagemaker_session_bucket is None and sess is not None:
    sagemaker_session_bucket = sess.default_bucket()

try:
    role = sagemaker.get_execution_role()
except ValueError:
    iam = boto3.client("iam")
    role = iam.get_role(RoleName="sagemaker_execution_role")["Role"]["Arn"]

sess = sagemaker.Session(default_bucket=sagemaker_session_bucket)

print(f"sagemaker role arn: {role}")
print(f"sagemaker bucket: {sess.default_bucket()}")
print(f"sagemaker session region: {sess.boto_region_name}")

s3_location = f"s3://{sagemaker_session_bucket}/whisper/model/model.tar.gz"
!aws s3 cp model.tar.gz $s3_location

from sagemaker.huggingface.model import HuggingFaceModel
from sagemaker.async_inference.async_inference_config import AsyncInferenceConfig
from sagemaker.s3 import s3_path_join
from sagemaker.utils import name_from_base

async_endpoint_name = name_from_base("custom-asyc")

# create Hugging Face Model Class
huggingface_model = HuggingFaceModel(
    model_data=s3_location,  # path to your model and script
    role=role,  # iam role with permissions to create an Endpoint
    transformers_version="4.17",  # transformers version used
    pytorch_version="1.10",  # pytorch version used
    py_version="py38",  # python version used
)

# create async endpoint configuration
async_config = AsyncInferenceConfig(
    output_path=s3_path_join(
        "s3://", sagemaker_session_bucket, "async_inference/output"
    ),  # Where our results will be stored
    # Add nofitication SNS if needed
    notification_config={
        # "SuccessTopic": "PUT YOUR SUCCESS SNS TOPIC ARN",
        # "ErrorTopic": "PUT YOUR ERROR SNS TOPIC ARN",
    },  #  Notification configuration
)

env = {"MODEL_SERVER_WORKERS": "2"}

# deploy the endpoint endpoint
async_predictor = huggingface_model.deploy(
    initial_instance_count=1,
    instance_type="ml.xx",
    async_inference_config=async_config,
    endpoint_name=async_endpoint_name,
    env=env,
)

# Replace with a path to audio object in S3
from sagemaker.async_inference import WaiterConfig
res = async_predictor.predict_async(data=data)
print(f"Response output path: {res.output_path}")
print("Start Polling to get response:")

config = WaiterConfig(
  max_attempts=10, #  number of attempts
  delay=10#  time in seconds to wait between attempts
  )
res.get_result(config)
#import waiterconfig

[0.9762308998, 8.9049235993, "SPEAKER_01"]

[9.533106961, 12.1646859083, "SPEAKER_01"]

[13.1324278438, 13.9303904924, "SPEAKER_00"]

[14.3548387097, 26.1884550085, "SPEAKER_00"]

[27.2410865874, 28.2258064516, "SPEAKER_01"]

[28.3446519525, 31.298811545, "SPEAKER_01"]

# Common class representing application autoscaling for SageMaker 
client = boto3.client('application-autoscaling') 

# This is the format in which application autoscaling references the endpoint
resource_id='endpoint/' + <endpoint_name> + '/variant/' + <'variant1'> 

# Define and register your endpoint variant
response = client.register_scalable_target(
    ServiceNamespace='sagemaker', 
    ResourceId=resource_id,
    ScalableDimension='sagemaker:variant:DesiredInstanceCount', # The number of EC2 instances for your Amazon SageMaker model endpoint variant.
    MinCapacity=0,
    MaxCapacity=5
)

اگر آپ اختتامی نقطہ کو حذف کرنا چاہتے ہیں تو درج ذیل کوڈ کا استعمال کریں:

async_predictor.delete_endpoint(async_endpoint_name)

غیر مطابقت پذیر اختتامی نقطہ کی تعیناتی کے فوائد

یہ حل درج ذیل فوائد پیش کرتا ہے:

• حل ایک سے زیادہ یا بڑی آڈیو فائلوں کو مؤثر طریقے سے سنبھال سکتا ہے۔
• یہ مثال مظاہرے کے لیے ایک مثال استعمال کرتی ہے۔ اگر آپ اس حل کو سیکڑوں یا ہزاروں ویڈیوز کے لیے استعمال کرنا چاہتے ہیں اور متعدد مثالوں پر کارروائی کرنے کے لیے ایک غیر مطابقت پذیر اختتامی نقطہ استعمال کرنا چاہتے ہیں، تو آپ ایک آٹو اسکیلنگ کی پالیسی، جو ماخذ دستاویزات کی ایک بڑی تعداد کے لیے ڈیزائن کیا گیا ہے۔ آٹو اسکیلنگ آپ کے کام کے بوجھ میں ہونے والی تبدیلیوں کے جواب میں ماڈل کے لیے فراہم کردہ مثالوں کی تعداد کو متحرک طور پر ایڈجسٹ کرتی ہے۔
• حل وسائل کو بہتر بناتا ہے اور طویل عرصے سے چلنے والے کاموں کو حقیقی وقت کے تخمینے سے الگ کرکے سسٹم کے بوجھ کو کم کرتا ہے۔

نتیجہ

اس پوسٹ میں، ہم نے Python اسکرپٹس کا استعمال کرتے ہوئے SageMaker پر Hugging Face کے اسپیکر ڈائرائزیشن ماڈل کو تعینات کرنے کے لیے ایک سیدھا سادہ طریقہ فراہم کیا ہے۔ ایک غیر مطابقت پذیر اختتامی نقطہ کا استعمال ایک سروس کے طور پر ڈائیرائزیشن کی پیشین گوئیاں فراہم کرنے کے لیے ایک موثر اور قابل توسیع ذریعہ فراہم کرتا ہے، بغیر کسی رکاوٹ کے ہم آہنگی کی درخواستوں کو ایڈجسٹ کرتا ہے۔

اپنے آڈیو پروجیکٹس کے لیے اسینکرونس اسپیکر ڈائرائزیشن کے ساتھ آج ہی شروع کریں۔ تبصرے میں پہنچیں اگر آپ کے اپنے غیر مطابقت پذیر ڈائیرائزیشن اینڈ پوائنٹ کو تیار کرنے اور چلانے کے بارے میں کوئی سوال ہے۔

مصنفین کے بارے میں

سنجے تیواری۔ ایک سپیشلسٹ سولیوشن آرکیٹیکٹ AI/ML ہے جو اپنا وقت کاروباری تقاضوں کی وضاحت کرنے، مخصوص استعمال کے معاملات میں L300 سیشنز فراہم کرنے، اور AI/ML ایپلیکیشنز اور خدمات کو ڈیزائن کرنے کے لیے اسٹریٹجک صارفین کے ساتھ کام کرنے میں صرف کرتا ہے جو قابل توسیع، قابل بھروسہ اور پرفارمنس ہیں۔ اس نے AI/ML سے چلنے والی Amazon SageMaker سروس کو شروع کرنے اور اسکیل کرنے میں مدد کی ہے اور Amazon AI سروسز کا استعمال کرتے ہوئے تصور کے کئی ثبوتوں کو نافذ کیا ہے۔ اس نے ڈیجیٹل تبدیلی کے سفر کے ایک حصے کے طور پر جدید تجزیاتی پلیٹ فارم بھی تیار کیا ہے۔

کرن چلاپلی۔ AWS پبلک سیکٹر کے ساتھ ایک گہری ٹیک بزنس ڈویلپر ہے۔ اس کے پاس AI/ML میں 8 سال سے زیادہ کا تجربہ ہے اور مجموعی طور پر سافٹ ویئر ڈویلپمنٹ اور سیلز کا 23 سال کا تجربہ ہے۔ کرن پورے ہندوستان میں پبلک سیکٹر کے کاروباروں کو کلاؤڈ پر مبنی حل تلاش کرنے اور ان کے ساتھ تخلیق کرنے میں مدد کرتی ہے جو AI، ML، اور جنریٹیو AI کا استعمال کرتے ہیں—بشمول بڑے زبان کے ماڈل—ٹیکنالوجیز۔