دیدن تغییر دهید برای آخرین ویژگی ها و اصلاحات

شما احتمالاً با چالش یادداشت برداری در طول جلسه در حالی که سعی می کنید به مکالمه توجه کنید، تجربه کرده اید. شما احتمالاً نیاز به بررسی سریع مطالب گفته شده یا جستجوی اطلاعات برای پاسخ به سؤالی را که به تازگی در تماس پرسیده شده است، تجربه کرده اید. یا شاید یکی از اعضای تیم دارید که همیشه دیر به جلسات می‌پیوندد و از شما انتظار دارد که خلاصه‌ای سریع از طریق چت برای آنها ارسال کنید تا به آنها رسیدگی کند.

سپس مواقعی پیش می‌آید که دیگران به زبانی صحبت می‌کنند که زبان اصلی شما نیست، و شما دوست دارید ترجمه‌ای زنده از آنچه مردم می‌گویند داشته باشید تا مطمئن شوید که به درستی متوجه شده‌اید.

و پس از پایان تماس، معمولاً می‌خواهید خلاصه‌ای را برای سوابق خود بگیرید یا برای شرکت‌کنندگان ارسال کنید، با فهرستی از تمام موارد اقدام، مالکان و تاریخ‌های سررسید.

همه اینها، و بیشتر، اکنون با جدیدترین راه حل نمونه ما، Live Meeting Assistant (LMA) امکان پذیر است.

دمو زیر را بررسی کنید تا ببینید چگونه کار می کند.

در این پست نحوه استفاده از LMA را به شما نشان می دهیم آمازون رونوشت, بستر آمازونو پایگاه های دانش برای آمازون بستر.

بررسی اجمالی راه حل

راه حل نمونه LMA صدای بلندگو و فراداده را از برنامه جلسه مبتنی بر مرورگر شما (تا زمان نگارش این مقاله، Zoom و Chime پشتیبانی می‌شوند)، یا صدا را فقط از هر برنامه جلسه مبتنی بر مرورگر، تلفن نرم‌افزار یا منبع صوتی دیگر ضبط می‌کند. از Amazon Transcript برای گفتار به متن، پایگاه های دانش برای Amazon Bedrock برای پرسش های متنی در برابر اسناد و منابع دانش شرکت شما، و مدل های Amazon Bedrock برای بینش ها و خلاصه های رونویسی قابل تنظیم استفاده می کند.

هر آنچه شما نیاز دارید به عنوان منبع باز در ما ارائه شده است GitHub repo. استقرار در حساب AWS شما ساده است. وقتی کارتان تمام شد، متعجب خواهید شد که چگونه بدون آن موفق شده اید!

موارد زیر برخی از کارهایی است که LMA می تواند انجام دهد:

• رونویسی زنده با ذکر منبع سخنران – LMA توسط مدل‌های Amazon Transcribe ASR برای گفتار به متن با تأخیر کم و با دقت بالا پشتیبانی می‌شود. در صورت نیاز می‌توانید با استفاده از واژگان سفارشی و ویژگی‌های مدل زبان سفارشی در Amazon Transcript، نام‌های تجاری و اصطلاحات خاص دامنه را به آن آموزش دهید.
  
• ترجمه زنده - از ترجمه آمازون برای نمایش اختیاری هر بخش از مکالمه ترجمه شده به زبان دلخواه شما، از مجموعه ای از 75 زبان، استفاده می کند.
  
• دستیار جلسه آگاه از زمینه - از پایگاه های دانش برای Amazon Bedrock برای ارائه پاسخ از منابع مورد اعتماد شما، با استفاده از رونوشت زنده به عنوان زمینه برای بررسی واقعیت و سؤالات بعدی استفاده می کند. برای فعال کردن دستیار، فقط بگویید «Okay, Assistant»، آن را انتخاب کنید از دستیار بپرسید! را فشار دهید، یا سوال خود را در UI وارد کنید.
  
• خلاصه های درخواستی جلسه - با کلیک روی یک دکمه روی رابط کاربری، می توانید خلاصه ای را ایجاد کنید، که برای زمانی مفید است که شخصی دیر به آن ملحق می شود و باید درگیر شود. خلاصه ها از رونوشت توسط Amazon Bedrock تولید می شوند. LMA همچنین گزینه هایی را برای شناسایی موضوع جلسه جاری و برای ایجاد لیستی از موارد اقدام با صاحبان و تاریخ های سررسید ارائه می دهد. شما همچنین می توانید درخواست های سفارشی و گزینه های مربوطه خود را ایجاد کنید.
  
• خلاصه و بینش خودکار - هنگامی که جلسه به پایان رسید، LMA به طور خودکار مجموعه ای از مدل های زبان بزرگ (LLM) را در Amazon Bedrock اجرا می کند تا متن جلسه را خلاصه کرده و بینش ها را استخراج کند. شما می توانید این دستورات را نیز سفارشی کنید.
  
• ضبط جلسه - صدا (اختیاری) برای شما ذخیره می شود، بنابراین می توانید بعداً بخش های مهم جلسه را دوباره پخش کنید.
  
• فهرست موجودی جلسات - LMA تمام جلسات شما را در یک لیست قابل جستجو پیگیری می کند.
  
• افزونه مرورگر، فراداده‌های صوتی و جلسه را از برنامه‌های محبوب جلسه ضبط می‌کند – افزونه مرورگر، فراداده جلسه - عنوان جلسه و نام سخنرانان فعال - و صدا را از شما (میکروفون شما) و دیگران (از برگه مرورگر جلسه) می گیرد. از زمان نگارش این مقاله، LMA از Chrome برای افزونه مرورگر و Zoom و Chime برای برنامه‌های جلسه (به زودی با Teams و WebEx) پشتیبانی می‌کند. برنامه‌های جلسات مستقل با LMA کار نمی‌کنند — در عوض، جلسات خود را در مرورگر راه‌اندازی کنید.
  

شما مسئول رعایت محدودیت های قانونی، شرکتی و اخلاقی هستید که برای ضبط جلسات و تماس ها اعمال می شود. اگر غیر از این ممنوع است، از این راه حل برای پخش جریانی، ضبط یا رونویسی تماس ها استفاده نکنید.

پیش نیازها

شما باید یک حساب AWS و یک هویت AWS و مدیریت دسترسی (IAM) نقش و کاربر با مجوز برای ایجاد و مدیریت منابع و اجزای لازم برای این برنامه. اگر حساب AWS ندارید، ببینید چگونه می توانم یک حساب جدید خدمات وب آمازون ایجاد و فعال کنم؟

شما همچنین به یک پایگاه دانش موجود در Amazon Bedrock نیاز دارید. اگر هنوز یکی را تنظیم نکرده اید، ببینید یک پایگاه دانش ایجاد کنید. پایگاه دانش خود را با محتوا پر کنید تا دستیار جلسه آگاه LMA را تقویت کند.

در نهایت، LMA از Amazon Bedrock LLM برای ویژگی‌های خلاصه‌سازی جلسات خود استفاده می‌کند. قبل از ادامه، اگر قبلاً این کار را نکرده اید، باید درخواست دسترسی به مدل های زیر بستر آمازون:

• Titan Embeddings G1 – متن
• آنتروپیک: همه مدل های کلود

راه حل را با استفاده از AWS CloudFormation مستقر کنید

ما از قبل ساخته شده است AWS CloudFormation قالب هایی که هر آنچه را که نیاز دارید در حساب AWS شما مستقر می کند.

اگر توسعه‌دهنده هستید و می‌خواهید راه‌حل را از روی کد بسازید، استقرار یا منتشر کنید، به آن مراجعه کنید توسعه دهنده README.

مراحل زیر را برای راه اندازی پشته CloudFormation کامل کنید:

1. وارد شوید کنسول مدیریت AWS.
2. را انتخاب کنید Stack را راه اندازی کنید برای منطقه AWS مورد نظر شما، کنسول AWS CloudFormation را باز کرده و یک پشته جدید ایجاد کنید.

منطقه	Stack را راه اندازی کنید
شرق ایالات متحده (N. Virginia)
غرب ایالات متحده (اورگان)

4. برای نام پشته، از مقدار پیش فرض LMA استفاده کنید.
5. برای آدرس ایمیل ادمین، از یک آدرس ایمیل معتبر استفاده کنید—گذرواژه موقت شما در حین استقرار به این آدرس ایمیل می شود.
6. برای دامنه ایمیل حساب مجاز، از قسمت نام دامنه آدرس ایمیل شرکتی خود استفاده کنید تا به کاربرانی که آدرس ایمیل در همان دامنه دارند اجازه دهید حساب های رابط کاربری جدید خود را ایجاد کنند، یا برای جلوگیری از ایجاد مستقیم حساب های کاربران، آن را خالی بگذارید. می توانید چندین دامنه را به عنوان یک لیست جدا شده با کاما وارد کنید.
7. برای MeetingAssistService، انتخاب کنید BEDROCK_KNOWLEDGE_BASE (تنها گزینه موجود تا این لحظه).
8. برای شناسه پایگاه دانشی Meeting Assist (موجود)، شناسه پایگاه دانش موجود خود را وارد کنید (به عنوان مثال، JSXXXXX3D8). می توانید آن را از کنسول بستر آمازون کپی کنید.
   
9. برای تمام پارامترهای دیگر، از مقادیر پیش فرض استفاده کنید.

اگر می خواهید بعداً تنظیمات را سفارشی کنید، برای مثال تنظیمات خود را اضافه کنید AWS لامبدا توابع، استفاده از واژگان سفارشی و مدل های زبان برای بهبود دقت، فعال کردن ویرایش اطلاعات شخصی قابل شناسایی (PII) و موارد دیگر، می توانید پشته را برای این پارامترها به روز کنید.

10. چک باکس های تایید را انتخاب کنید، سپس انتخاب کنید پشته ایجاد کنید.

پشته اصلی CloudFormation از پشته های تو در تو برای ایجاد منابع زیر در حساب AWS شما استفاده می کند:

• سرویس ذخیره سازی ساده آمازون سطل های (Amazon S3) برای نگهداری مصنوعات ساخت و ضبط تماس ها
• An AWS Fargate وظیفه با یک Application Load Balancer ارائه کد در حال اجرا سرور WebSocket برای مصرف جریان های صوتی استریو و رله کردن به Amazon Transcript، انتشار بخش های رونویسی در آمازون کینزیس جریان دادهو ضبط تماس های استریو را ایجاد و ذخیره کنید
• یک جریان داده Kinesis برای انتقال رویدادهای فراخوانی و بخش‌های رونویسی به تابع پردازش غنی‌سازی
• منابع LMA، از جمله QnABot در راه حل AWS پشته، که با سرویس جستجوی باز آمازون و آمازون بستر
• La AWS AppSync API، که یک نقطه پایانی GraphQL برای پشتیبانی از پرس و جوها و به روز رسانی های بلادرنگ ارائه می دهد
• اجزای وب سایت، از جمله سطل S3، آمازون CloudFront توزیع، و Cognito آمازون استخر کاربر
• یک برنامه افزونه مرورگر از پیش پیکربندی شده قابل دانلود برای مرورگرهای کروم
• سایر منابع حمایتی، از جمله نقش‌ها و سیاست‌های IAM (با استفاده از بهترین شیوه‌های حداقل امتیاز)، ابر خصوصی مجازی آمازون منابع (Amazon VPC)، پل رویداد آمازون قوانین رویداد، و CloudWatch آمازون گروه های ورود به سیستم

استقرار پشته ها حدود 35 تا 40 دقیقه طول می کشد. وضعیت پشته اصلی نشان می دهد CREATE_COMPLETE وقتی همه چیز مستقر است

کلمه ی عبور خود را تنظیم کنید

پس از استقرار پشته، رابط کاربری وب LMA را باز کنید و رمز عبور خود را با انجام مراحل زیر تنظیم کنید:

1. ایمیلی را که دریافت کرده‌اید، در آدرس ایمیلی که ارائه کرده‌اید، با موضوع «به دستیار جلسه زنده خوش آمدید!» باز کنید.
2. مرورگر وب خود را به URL نشان داده شده در ایمیل باز کنید. شما به صفحه ورود هدایت می شوید.
   
3. ایمیل حاوی یک رمز عبور موقت تولید شده است که برای ورود به سیستم و ایجاد رمز عبور خود استفاده می کنید. نام کاربری شما آدرس ایمیل شماست.
4. یک رمز عبور جدید تنظیم کنید.

رمز عبور جدید شما باید حداقل هشت نویسه داشته باشد و دارای حروف بزرگ و کوچک و اعداد و کاراکترهای خاص باشد.

5. برای تأیید آدرس ایمیل خود دستورالعمل ها را دنبال کنید یا انتخاب کنید پرش تا بعدا انجامش بده

شما اکنون به LMA وارد شده اید.

شما همچنین ایمیل مشابهی با موضوع «کد تأیید ثبت نام QnABot» دریافت کردید. این ایمیل حاوی یک رمز عبور موقت تولید شده است که از آن برای ورود به سیستم و ایجاد رمز عبور خود در طراح QnABot استفاده می کنید. شما فقط در صورتی از طراح QnABot استفاده می کنید که بخواهید گزینه ها و درخواست های LMA را سفارشی کنید. نام کاربری شما برای QnABot Admin است. اکنون می‌توانید رمز عبور دائمی مدیریت QnABot خود را تنظیم کنید، یا اگر بخواهید بعداً چیزها را سفارشی کنید، این ایمیل را ایمن نگه دارید.

افزونه مرورگر کروم را دانلود و نصب کنید

برای بهترین تجربه پخش جریانی جلسه، افزونه مرورگر LMA (در حال حاضر برای Chrome موجود است) را نصب کنید:

1. را انتخاب کنید برنامه افزودنی کروم را دانلود کنید برای دانلود فایل زیپ پسوند مرورگر (lma-chrome-extension.zip).
   
2. را انتخاب کنید (راست کلیک کنید) و فایل .zip را گسترش دهید (lma-chrome-extension.zip) برای ایجاد یک پوشه محلی به نام lma-chrome-extension.
3. کروم را باز کنید و لینک را وارد کنید chrome://extensions در نوار آدرس.
   
4. فعال حالت توسعهدهنده.
5. را انتخاب کنید بارگیری بدون بسته بندی، به مسیر lma-chrome-extension پوشه (که از دانلود خارج کردید) و انتخاب کنید انتخاب کنید. این برنامه افزودنی شما را بارگیری می کند.
6. افزونه LMA جدید را برای دسترسی آسان به نوار ابزار مرورگر پین کنید—شما اغلب از آن برای پخش جریانی جلسات خود استفاده خواهید کرد!
   

شروع به استفاده از LMA کنید

LMA دو گزینه پخش را ارائه می دهد:

• افزونه مرورگر کروم - از این برای پخش فراداده های صوتی و بلندگو از برنامه مرورگر جلسه خود استفاده کنید. در حال حاضر با Zoom و Chime کار می‌کند، اما امیدواریم برنامه‌های جلسه بیشتری اضافه کنیم.
• تب LMA Stream Audio - از این برای پخش صدا از میکروفون خود و هر برنامه جلسه مبتنی بر مرورگر Chrome، تلفن نرم افزاری یا برنامه صوتی استفاده کنید.

نحوه استفاده از هر دو گزینه را در بخش های زیر به شما نشان می دهیم.

از افزونه مرورگر کروم برای پخش جریانی تماس زوم استفاده کنید

برای استفاده از افزونه مرورگر مراحل زیر را کامل کنید:

1. افزونه LMA را باز کنید و با اعتبار LMA خود وارد شوید.
   
2. به یک جلسه Zoom در مرورگر وب خود بپیوندید یا شروع کنید (از مشتری زوم جداگانه استفاده نکنید).

اگر قبلاً صفحه جلسه Zoom را بارگذاری کرده اید، آن را دوباره بارگیری کنید.

برنامه افزودنی LMA به طور خودکار تشخیص می دهد که Zoom در تب مرورگر در حال اجرا است و نام شما و نام جلسه را پر می کند.

3. در هنگام تماس به دیگران بگویید که در شرف شروع ضبط تماس با استفاده از LMA هستید و از آنها اجازه بگیرید. در صورت مخالفت شرکت کنندگان ادامه ندهید.
4. را انتخاب کنید شروع به گوش دادن کنید.
   
5. سلب مسئولیت را بخوانید و بپذیرید و انتخاب کنید اجازه دادن برای اشتراک گذاری برگه مرورگر
   

پسوند LMA به طور خودکار بلندگوی فعال را در تماس شناسایی و نمایش می دهد. اگر در جلسه تنها هستید، برخی از دوستان را دعوت کنید تا به آن بپیوندند و مشاهده کنید که اسامی که برای ملحق شدن به تماس استفاده کرده اند، هنگام صحبت در برنامه افزودنی نمایش داده می شود و به کلمات آنها در رونوشت LMA نسبت داده می شود.

6. را انتخاب کنید در LMA باز کنید برای مشاهده متن زنده خود در یک برگه جدید.
7. زبان رونوشت دلخواه خود را انتخاب کنید و با استفاده از عبارت «OK Assistant!» با دستیار جلسه تعامل داشته باشید. یا ربات کمک جلسه پنجره

La از دستیار بپرسید دکمه از سرویس دستیار جلسه (پایگاه دانش آمازون بستر) می خواهد تا بر اساس رونوشت تعاملات اخیر در جلسه، پاسخ خوبی را پیشنهاد دهد. مسافت پیموده شده شما ممکن است متفاوت باشد، پس آزمایش کنید!

8. وقتی کارتان تمام شد، انتخاب کنید پخش جریانی را متوقف کنید برای پایان دادن به جلسه در LMA.

در عرض چند ثانیه، خلاصه‌های خودکار پایان جلسه ظاهر می‌شوند و ضبط صدا در دسترس می‌شود. پس از پایان تماس می توانید به استفاده از ربات ادامه دهید.

از تب LMA UI Stream Audio برای پخش جریانی از میکروفون خود و هر برنامه صوتی مبتنی بر مرورگر استفاده کنید

افزونه مرورگر راحت‌ترین راه برای پخش جریانی فراداده و صدا از برنامه‌های وب جلسه پشتیبانی‌شده است. با این حال، می‌توانید از LMA برای پخش صدا از هر تلفن نرم‌افزار مبتنی بر مرورگر، برنامه جلسه یا سایر منابع صوتی که در مرورگر کروم شما پخش می‌شود، استفاده کنید. پخش جریانی صدا برگه ای که در رابط کاربری LMA تعبیه شده است.

1. هر منبع صوتی را در برگه مرورگر باز کنید.

به عنوان مثال، این می تواند یک تلفن نرم افزاری باشد (مانند صدای گوگل)، یک برنامه جلسه دیگر، یا برای اهداف نمایشی، می توانید به سادگی یک صدای ضبط شده محلی یا یک ویدیوی YouTube را در مرورگر خود پخش کنید تا از شرکت کننده دیگری در جلسه تقلید کنید. اگر فقط می خواهید آن را امتحان کنید، موارد زیر را باز کنید ویدیو یوتیوب در یک برگه جدید

2. در رابط کاربری برنامه LMA، را انتخاب کنید پخش جریانی صدا (بدون پسوند) برای باز کردن تب Stream Audio.
3. برای شناسه جلسه، شناسه جلسه را وارد کنید.
4. برای نام، یک نام برای خود وارد کنید (برای صدا از میکروفون شما اعمال می شود).
5. برای نام(های) شرکت کننده، نام شرکت کنندگان را وارد کنید (در منبع صوتی ورودی اعمال می شود).
6. را انتخاب کنید شروع به جریان دادن.
   
7. برگه مرورگری را که قبلا باز کردید انتخاب کنید و انتخاب کنید اجازه دادن برای به اشتراک گذاشتن
8. مجدداً برگه رابط کاربری LMA را انتخاب کنید تا شناسه جلسه جدید خود را که در فهرست قرار گرفته است را مشاهده کنید و جلسه را به عنوان نشان دهید در حال پیش رفت.
   
9. برای باز کردن صفحه جزئیات، شناسه جلسه را انتخاب کنید و رونوشت صدای ورودی را که به نام شرکت‌کنندگانی که وارد کرده‌اید نسبت داده می‌شود، تماشا کنید. اگر صحبت کنید، رونویسی صدای خود را خواهید دید.
   

استفاده از پخش جریانی صدا قابلیت پخش جریانی از هر برنامه تلفن نرم افزاری، برنامه جلسه، یا هر صدای پخش جریانی دیگری که در مرورگر پخش می شود، به همراه صدای ضبط شده از میکروفون انتخابی شما. همیشه قبل از ضبط آنها با استفاده از LMA یا هر برنامه ضبط دیگری، از دیگران اجازه بگیرید.

مروری بر جریان پردازش

LMA چگونه جلسه شما را رونویسی و تجزیه و تحلیل کرد؟ بیایید ببینیم چگونه کار می کند. نمودار زیر اجزای اصلی معماری و نحوه تطبیق آنها با یکدیگر را در سطح بالایی نشان می دهد.

کاربر LMA در مرورگر خود به جلسه می‌پیوندد، افزونه مرورگر LMA را فعال می‌کند و با استفاده از اعتبار LMA خود احراز هویت می‌کند. اگر برنامه جلسه (به عنوان مثال، Zoom.us) توسط برنامه افزودنی LMA پشتیبانی می شود، نام کاربر، نام جلسه و نام سخنران فعال به طور خودکار توسط برنامه افزودنی شناسایی می شود. اگر برنامه جلسه توسط برنامه افزودنی پشتیبانی نمی‌شود، کاربر LMA می‌تواند به صورت دستی نام خود و موضوع جلسه را وارد کند—نام سخنرانان فعال شناسایی نخواهد شد.

پس از دریافت مجوز از سایر شرکت‌کنندگان، کاربر LMA شروع گوش دادن را در صفحه افزودنی LMA انتخاب می‌کند. یک اتصال WebSocket ایمن به URL از پیش پیکربندی شده پشته LMA WebSocket برقرار می شود و رمز تأیید اعتبار کاربر تأیید می شود. برنامه افزودنی مرورگر LMA یک پیام START حاوی فراداده های جلسه (نام، موضوع و غیره) به WebSocket ارسال می کند و پخش صدای دو کاناله را از میکروفون کاربر و کانال صوتی ورودی حاوی صدای سایر شرکت کنندگان جلسه شروع می کند. برنامه افزودنی برنامه جلسه را نظارت می کند تا تغییرات بلندگوی فعال را در طول مکالمه تشخیص دهد و آن ابرداده را به WebSocket ارسال می کند و LMA را قادر می سازد تا قسمت های گفتار را با نام گوینده برچسب گذاری کند.

سرور WebSocket در حال اجرا در Fargate قطعات صوتی دو کاناله بلادرنگ را از جریان WebSocket دریافتی مصرف می کند. صدا در Amazon Transcript پخش می شود و نتایج رونویسی در زمان واقعی برای Kinesis Data Streams نوشته می شود.

هر جلسه پردازش جلسه تا زمانی اجرا می‌شود که کاربر Stop Listening را در صفحه افزودنی LMA انتخاب کند یا جلسه را پایان دهد و برگه را ببندد. در پایان تماس، این تابع یک فایل ضبط استریو در آمازون S3 ایجاد می‌کند (اگر ضبط در هنگام استقرار پشته فعال بود).

یک تابع Lambda به نام Call Event Processor که توسط Kinesis Data Streams تغذیه می‌شود، پردازش می‌کند و به‌صورت اختیاری ابرداده‌های جلسه و بخش‌های رونویسی را غنی می‌کند. پردازشگر رویداد تماس با خدمات کمک جلسه ادغام می شود. LMA توسط آمازون لکس، پایگاه های دانش برای Amazon Bedrock و Amazon Bedrock LLM با استفاده از منبع باز QnABot در راه حل AWS برای پاسخ‌های مبتنی بر پرسش‌های متداول و به‌عنوان هماهنگ‌کننده برای مسیریابی درخواست به سرویس هوش مصنوعی مناسب. هنگام پایان تماس، پردازشگر رویداد فراخوانی تابع لامبدا خلاصه‌سازی رونوشت را فراخوانی می‌کند تا خلاصه‌ای از تماس را از رونوشت کامل ایجاد کند.

عملکرد پردازشگر رویداد تماس با AWS AppSync برای تداوم تغییرات (جهش) در رابط کاربری آمازون DynamoDB و به‌روزرسانی‌های بلادرنگ را به مشتریان وب وارد شده کاربر LMA ارسال کنید (به راحتی با انتخاب گزینه Open in LMA در افزونه مرورگر باز می‌شود).

دارایی های رابط کاربری وب LMA در Amazon S3 میزبانی می شوند و از طریق CloudFront ارائه می شوند. احراز هویت توسط Amazon Cognito ارائه شده است.

هنگامی که کاربر احراز هویت شد، برنامه وب یک اتصال امن GraphQL به API AWS AppSync برقرار می‌کند و برای دریافت رویدادهای بی‌درنگ مانند تماس‌های جدید و تغییرات وضعیت تماس برای صفحه فهرست جلسات، و بخش‌های رونویسی جدید یا به‌روز شده و محاسبه شده مشترک می‌شود. تجزیه و تحلیل برای صفحه جزئیات جلسه. هنگامی که ترجمه فعال است، برنامه وب همچنین به طور ایمن با آمازون ترنسلیت تعامل می کند تا رونویسی جلسه را به زبان انتخابی ترجمه کند.

کل جریان پردازش، از گفتار دریافت‌شده تا به‌روزرسانی‌های صفحه وب زنده، مبتنی بر رویداد است، و تأخیر انتها به انتها کوتاه است - معمولاً فقط چند ثانیه.

نظارت و عیب یابی

AWS CloudFormation خرابی‌ها و علل استقرار را در پشته‌های مربوطه گزارش می‌کند رویدادها برگه دیدن عیب یابی CloudFormation برای کمک به مشکلات رایج استقرار مراقب خرابی های استقرار ناشی از خطاهای بیش از حد مجاز باشید. پشته های LMA منابعی را ایجاد می کنند که مشمول سهمیه های پیش فرض حساب و خدمات منطقه هستند، مانند آدرس های IP الاستیک و دروازه های NAT. هنگام عیب‌یابی خرابی‌های پشته CloudFormation، همیشه به پشته‌های تودرتوی ناموفق پیمایش کنید تا اولین خرابی منبع تودرتو گزارش‌شده را بیابید - این تقریباً همیشه علت اصلی است.

Amazon Transcript دارای محدودیت پیش‌فرض 25 جریان رونویسی همزمان است که LMA را به 25 جلسه همزمان در یک حساب یا منطقه AWS محدود می‌کند. اگر کاربران زیادی دارید و باید تعداد بیشتری از جلسات همزمان را در حساب خود مدیریت کنید، برای رونویسی پخش جریانی، تعداد جریان‌های همزمان HTTP/2 را درخواست کنید.

LMA با استفاده از CloudWatch، نظارت بر زمان اجرا و گزارش‌ها را برای هر مؤلفه فراهم می‌کند:

• پردازش WebSocket و رونویسی وظیفه Fargate - روی سرویس کانتینر الاستیک آمازون کنسول (Amazon ECS)، به قسمت خوشه صفحه و باز کردن LMA-WEBSOCKETSTACK-xxxx-TranscribingCluster تابع. انتخاب وظایف را برگه و صفحه کار را باز کنید. انتخاب کنید سیاههها و مشاهده در CloudWatch برای بازرسی سیاهههای وظیفه رونویس WebSocket.
• فراخوانی عملکرد لامبدا پردازشگر رویداد – در کنسول Lambda، را باز کنید LMA-AISTACK-CallEventProcessor تابع. انتخاب مانیتور برای مشاهده معیارهای عملکرد، را انتخاب کنید. انتخاب کنید مشاهده گزارش‌ها در CloudWatch برای بررسی گزارش های عملکرد
• AWS AppSync API – در کنسول AWS AppSync، آن را باز کنید CallAnalytics-LMA API. انتخاب کنید نظارت در صفحه پیمایش برای مشاهده معیارهای API. انتخاب کنید مشاهده گزارش‌ها در CloudWatch برای بررسی گزارش های API AWS AppSync.

برای QnABot در AWS برای Meeting Assist، به بخش مراجعه کنید کمک جلسه README، و راهنمای پیاده سازی راه حل QnABot برای اطلاعات بیشتر.

ارزیابی هزینه

LMA یک سرور WebSocket با استفاده از Fargate (2vCPU) و منابع شبکه VPC با هزینه حدود 0.10 دلار در ساعت (تقریباً 72 دلار در ماه) ارائه می دهد. برای جزئیات بیشتر، نگاه کنید قیمت گذاری AWS Fargate.

LMA با استفاده از QnABot و Knowledge Bases برای Amazon Bedrock فعال می شود. شما پایگاه دانش خود را ایجاد می کنید که از آن برای LMA و موارد استفاده بالقوه دیگر استفاده می کنید. برای جزئیات بیشتر، نگاه کنید قیمت گذاری سنگ بستر آمازون. خدمات اضافی AWS مورد استفاده توسط راه حل QnABot حدود 0.77 دلار در ساعت هزینه دارد. برای جزئیات بیشتر، به لیست مراجعه کنید QnABot در هزینه های راه حل AWS.

هزینه های راه حل باقی مانده بر اساس استفاده است.

هزینه‌های استفاده برای یک تماس 0.17 دقیقه‌ای به 5 دلار می‌رسد، اگرچه این می‌تواند بر اساس گزینه‌های انتخاب شده (مانند ترجمه)، تعداد خلاصه‌های LLM و کل استفاده متفاوت باشد، زیرا استفاده بر واجد شرایط بودن ردیف رایگان و قیمت‌گذاری سطح حجم برای بسیاری از خدمات تأثیر می‌گذارد. . برای اطلاعات بیشتر در مورد خدماتی که هزینه استفاده را به همراه دارند، به موارد زیر مراجعه کنید:

برای بررسی هزینه های LMA برای خودتان، استفاده کنید AWS Cost Explorer یا انتخاب کنید جزئیات لایحه در داشبورد صورت‌حساب AWS برای مشاهده هزینه‌های ماهانه خود بر اساس خدمات.

استقرار خود را سفارشی کنید

هنگام ایجاد یا به‌روزرسانی پشته خود برای سفارشی کردن استقرار LCA از پارامترهای الگوی CloudFormation زیر استفاده کنید:

• برای استفاده از سطل S3 خود برای ضبط جلسات، استفاده کنید نام سطل ضبط صدا تماس بگیرید و پیشوند فایل صوتی.
• برای ویرایش PII از رونویسی، تنظیم کنید ویرایش محتوا را برای رونوشت‌ها فعال کنید درست است، و تنظیم کنید انواع موجودیت ویرایش PII رونویسی به عنوان مورد نیاز. برای اطلاعات بیشتر ببین ویرایش یا شناسایی PII در یک جریان بیدرنگ.
• برای بهبود دقت رونویسی برای کلمات اختصاری و اصطلاحات تخصصی فنی و دامنه، تنظیم کنید رونویسی نام واژگان سفارشی به نام واژگان سفارشی که قبلاً در آمازون رونویسی یا تنظیم کرده اید رونویسی نام مدل زبان سفارشی به نام یک مدل زبان سفارشی که قبلا ایجاد شده است. برای اطلاعات بیشتر ببین بهبود دقت رونویسی.
• برای رونویسی جلسات به زبان پشتیبانی شده به غیر از انگلیسی ایالات متحده، مقدار مورد نظر را انتخاب کنید زبان برای رونویسی.
• برای سفارشی کردن پردازش رونوشت، به صورت اختیاری تنظیم کنید تابع قلاب لامبدا ARN برای پردازش قطعه رونوشت سفارشی به ARN تابع Lambda خودتان. برای اطلاعات بیشتر ببین استفاده از تابع Lambda برای ارائه منطق سفارشی برای پردازش رونوشت به صورت اختیاری.
• برای سفارشی کردن قابلیت های کمک جلسه بر اساس راه حل QnABot در AWS، آمازون لکس، آمازون بستر و پایگاه های دانش برای ادغام آمازون بستر، به بخش زیر مراجعه کنید. کمک جلسه README.
• برای سفارشی‌سازی خلاصه‌نویسی رونوشت با پیکربندی LMA برای فراخوانی تابع Lambda خود، ببینید گزینه LAMBDA خلاصه رونوشت.
• برای سفارشی کردن خلاصه‌سازی رونوشت با اصلاح اعلان‌های پیش‌فرض یا افزودن موارد جدید، ببینید خلاصه رونوشت.
• برای تغییر دوره نگهداری، تنظیم کنید رکورد انقضا در چند روز به مقدار مورد نظر تمام داده های تماس پس از این مدت برای همیشه از حافظه LMA DynamoDB حذف می شود. تغییرات در این تنظیم فقط برای تماس های جدید دریافت شده پس از به روز رسانی اعمال می شود.

LMA یک پروژه متن باز است. می‌توانید مخزن LMA GitHub را فورک کنید، کد را بهبود ببخشید، و درخواست‌های کششی را برای ما ارسال کنید تا بتوانیم پیشرفت‌های شما را ترکیب کرده و به اشتراک بگذاریم!

یک پشته LMA موجود را به روز کنید

می توانید پشته LMA موجود خود را به آخرین نسخه به روز کنید. برای جزئیات بیشتر، نگاه کنید یک پشته موجود را به روز کنید.

پاک کردن

تبریک می گویم! شما تمام مراحل راه اندازی نمونه راه حل تجزیه و تحلیل تماس زنده خود را با استفاده از خدمات AWS انجام داده اید.

وقتی آزمایش این نمونه راه حل را تمام کردید، منابع خود را با استفاده از کنسول AWS CloudFormation پاکسازی کنید تا پشته های LMA را که مستقر کرده اید حذف کنید. این باعث حذف منابعی می شود که با استقرار راه حل ایجاد شده اند. سطل های ضبط S3، جدول DynamoDB و گروه های گزارش CloudWatch پس از حذف پشته حفظ می شوند تا از حذف داده های شما جلوگیری شود.

تجزیه و تحلیل تماس زنده: راه حل همراه

راه حل همراه ما، تجزیه و تحلیل تماس زنده و کمک عامل (LCA)، رونویسی و تجزیه و تحلیل در زمان واقعی را برای مراکز تماس (تماس های تلفنی) به جای جلسات ارائه می دهد. شباهت های زیادی وجود دارد - در واقع، LMA با استفاده از معماری و بسیاری از اجزای مشتق شده از LCA ساخته شده است.

نتیجه

راه حل نمونه Live Meeting Assistant یک رویکرد منعطف، غنی از ویژگی ها و قابل تنظیم برای ارائه کمک به جلسات زنده برای بهبود بهره وری شما در طول و بعد از جلسات ارائه می دهد. از خدمات آمازون AI/ML مانند Amazon Transcript، Amazon Lex، Knowledge Bases for Amazon Bedrock و Amazon Bedrock LLMs برای رونویسی و استخراج اطلاعات بی‌درنگ از صدای جلسه شما استفاده می‌کند.

نمونه برنامه LMA به عنوان منبع باز ارائه شده است—از آن به عنوان نقطه شروعی برای راه حل خود استفاده کنید و با کمک کردن به رفع مشکلات و ویژگی ها از طریق درخواست های کشش GitHub به ما کمک کنید تا آن را بهتر کنیم. مرور به مخزن LMA GitHub برای کاوش کد، را انتخاب کنید تماشا کردن برای اطلاع از نسخه های جدید، و بررسی کنید README برای آخرین به روز رسانی اسناد.

برای کمک تخصصی، خدمات حرفه ای AWS و دیگر شرکای AWS اینجا هستند تا کمک کنند.

ما از اینکه ازت خبر داشته باشیم خوشحال میشویم. نظر خود را در بخش نظرات با ما در میان بگذارید یا از تالار گفتمان مشکلات موجود در آن استفاده کنید مخزن LMA GitHub.

---

درباره نویسندگان

باب استرهان یک معمار اصلی راه حل در تیم خدمات هوش مصنوعی زبان AWS است.

کریس لات یک معمار راه حل اصلی در تیم خدمات زبان AWS AI است. او 20 سال تجربه توسعه نرم افزار سازمانی دارد. کریس در ساکرامنتو، کالیفرنیا زندگی می کند و از باغبانی، هوافضا و سفر در سراسر جهان لذت می برد.

بابو سرینیواسان یک Sr. Specialist SA – خدمات هوش مصنوعی زبان در سازمان تخصصی جهانی در AWS، با بیش از 24 سال تجربه در فناوری اطلاعات و 6 سال گذشته متمرکز بر AWS Cloud. او مشتاق هوش مصنوعی/ML است. در خارج از محل کار، او از نجاری لذت می برد و دوستان و خانواده (گاهی اوقات غریبه ها) را با استفاده از جادوی کارت دست سرگرم می کند.

کیشور داموداران یک معمار ارشد راه حل در AWS است.

جیلیان آرمسترانگ معمار Builder Solutions است. او از اینکه چگونه ابر فرصت‌هایی را برای افراد بیشتری برای استفاده از فناوری برای حل مشکلات باز می‌کند هیجان‌زده است، و به‌ویژه از این که چگونه فناوری‌های شناختی، مانند هوش مصنوعی محاوره‌ای، به ما اجازه می‌دهند تا با رایانه‌ها به روش‌های انسانی‌تری تعامل داشته باشیم، هیجان‌زده است.

• محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
• PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
• PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
• PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
• PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
• منبع: https://aws.amazon.com/blogs/machine-learning/live-meeting-assistant-with-amazon-transcribe-amazon-bedrock-and-knowledge-bases-for-amazon-bedrock/