هوش مصنوعی مولد (AI) با سازمان هایی که به طور فعال برنامه های بالقوه آن را بررسی می کنند، شتاب قابل توجهی به دست آورده است. با انتقال موفقیت آمیز اثبات مفاهیم به تولید، سازمان ها به طور فزاینده ای به راه حل های مقیاس پذیر سازمانی نیاز دارند. با این حال، برای باز کردن موفقیت بلندمدت و دوام این راه حل های مبتنی بر هوش مصنوعی، بسیار مهم است که آنها را با اصول معماری تثبیت شده هماهنگ کنیم.

چارچوب AWS Well-Architected Framework بهترین شیوه ها و دستورالعمل ها را برای طراحی و عملکرد سیستم های قابل اعتماد، ایمن، کارآمد و مقرون به صرفه در فضای ابری ارائه می دهد. همراستایی برنامه‌های هوش مصنوعی مولد با این چارچوب به دلایل مختلفی از جمله ارائه مقیاس‌پذیری، حفظ امنیت و حریم خصوصی، دستیابی به قابلیت اطمینان، بهینه‌سازی هزینه‌ها و ساده‌سازی عملیات ضروری است. پذیرش این اصول برای سازمان هایی که به دنبال استفاده از قدرت هوش مصنوعی مولد و ایجاد نوآوری هستند، حیاتی است.

این پست ویژگی های جدید درجه سازمانی را بررسی می کند پایگاه های دانش در آمازون بستر و چگونه آنها با چارچوب AWS Well-Architected Framework هماهنگ می شوند. با پایگاه های دانش برای Amazon Bedrock، می توانید به سرعت برنامه هایی را با استفاده از Retrieval Augmented Generation (RAG) برای موارد استفاده مانند پاسخ به سؤال، ربات های گفتگوی متنی و جستجوی شخصی بسازید.

در اینجا برخی از ویژگی هایی است که به آنها خواهیم پرداخت:

1. پشتیبانی از AWS CloudFormation
2. سیاست های شبکه خصوصی برای Amazon OpenSearch Serverless
3. چند سطل S3 به عنوان منابع داده
4. پشتیبانی از سهمیه خدمات
5. جستجوی ترکیبی، فیلترهای ابرداده، درخواست‌های سفارشی برای RetreiveAndGenerate API و حداکثر تعداد بازیابی.

اصول طراحی با معماری خوب AWS

برنامه‌های مبتنی بر RAG که با استفاده از پایگاه‌های دانش برای Amazon Bedrock ساخته شده‌اند، می‌توانند تا حد زیادی از دنبال کردن آن بهره ببرند چارچوب AWS Well-Architected. این چارچوب دارای شش ستون است که به سازمان ها کمک می کند تا مطمئن شوند که برنامه های کاربردی آنها ایمن، با کارایی بالا، انعطاف پذیر، کارآمد، مقرون به صرفه و پایدار هستند:

• تعالی عملیاتی – اصولی که به خوبی معماری شده اند، عملیات را ساده می کنند، فرآیندها را خودکار می کنند و امکان نظارت مستمر و بهبود عملکرد برنامه هوش مصنوعی مولد را فراهم می کنند.
• دوربین های مداربسته – اجرای کنترل‌های دسترسی قوی، رمزگذاری و نظارت به امنیت داده‌های حساس مورد استفاده در پایگاه دانش سازمان شما کمک می‌کند و از سوء استفاده از هوش مصنوعی مولد جلوگیری می‌کند.
• قابلیت اطمینان - اصولی که به خوبی طراحی شده اند، طراحی سیستم های انعطاف پذیر و مقاوم در برابر خطا را راهنمایی می کنند و ارزش ثابتی را به کاربران ارائه می دهند.
• بهینه سازی عملکرد – انتخاب منابع مناسب، پیاده‌سازی استراتژی‌های کش و نظارت فعال بر معیارهای عملکرد، اطمینان حاصل می‌کند که برنامه‌ها پاسخ‌های سریع و دقیق ارائه می‌کنند، که منجر به عملکرد بهینه و تجربه کاربری بهتر می‌شود.
• بهینه سازی هزینه – دستورالعمل‌های معمارانه به بهینه‌سازی استفاده از منابع، استفاده از خدمات صرفه‌جویی در هزینه‌ها و نظارت بر هزینه‌ها کمک می‌کنند، که منجر به دوام طولانی‌مدت پروژه‌های هوش مصنوعی مولد می‌شود.
• پایداری - اصولی که به خوبی طراحی شده اند، استفاده کارآمد از منابع و به حداقل رساندن ردپای کربن را ترویج می کنند و به تأثیرات زیست محیطی ناشی از رشد استفاده از هوش مصنوعی مولد توجه می کنند.

با همسویی با چارچوب Well-Architected، سازمان ها می توانند به طور موثر برنامه های RAG درجه سازمانی را با استفاده از پایگاه های دانش برای Amazon Bedrock بسازند و مدیریت کنند. اکنون، بیایید عمیقاً به ویژگی‌های جدید راه‌اندازی شده در پایگاه‌های دانش برای Amazon Bedrock بپردازیم.

پشتیبانی از AWS CloudFormation

برای سازمان‌هایی که برنامه‌های RAG را می‌سازند، مهم است که عملیات کارآمد و مؤثر و زیرساخت‌های سازگار در محیط‌های مختلف ارائه دهند. این را می توان با اجرای شیوه هایی مانند خودکارسازی فرآیندهای استقرار به دست آورد. برای انجام این کار، پایگاه های دانش برای آمازون بستر در حال حاضر پشتیبانی از AWS CloudFormation.

با AWS CloudFormation و کیت توسعه ابری AWS (AWS CDK)، اکنون می‌توانید پایگاه‌های دانش و منابع داده مرتبط را ایجاد، به‌روزرسانی و حذف کنید. اتخاذ AWS CloudFormation و AWS CDK برای مدیریت پایگاه‌های دانش و منابع داده مرتبط، نه تنها فرآیند استقرار را ساده می‌کند، بلکه پیروی از اصول Well-Architected را نیز ارتقا می‌دهد. با انجام عملیات (برنامه‌ها، زیرساخت) به‌عنوان کد، می‌توانید استقرارهای سازگار و قابل اعتماد را در چندین حساب AWS و منطقه‌های AWS ارائه دهید و پیکربندی‌های زیرساخت نسخه‌شده و قابل بازرسی را حفظ کنید.

نمونه زیر می باشد اسکریپت CloudFormation با فرمت JSON برای ایجاد و به روز رسانی یک پایگاه دانش در آمازون بستر:

{
    "Type" : "AWS::Bedrock::KnowledgeBase", 
    "Properties" : {
        "Name": String,
        "RoleArn": String,
        "Description": String,
        "KnowledgeBaseConfiguration": {
  		"Type" : String,
  		"VectorKnowledgeBaseConfiguration" : VectorKnowledgeBaseConfiguration
},
        "StorageConfiguration": StorageConfiguration,            
    } 
}

Type یک پایگاه دانش را به عنوان یک منبع در یک الگوی سطح بالا مشخص می کند. حداقل باید ویژگی های زیر را مشخص کنید:

• نام – نامی برای پایگاه دانش مشخص کنید.
• RoleArn – نام منبع آمازون (ARN) را مشخص کنید هویت AWS و مدیریت دسترسی نقش (IAM) با مجوز برای فراخوانی عملیات API در پایگاه دانش. برای اطلاعات بیشتر ببین یک نقش خدماتی برای پایگاه های دانش برای Amazon Bedrock ایجاد کنید.
• KnowledgeBaseConfiguration - پیکربندی embeddings پایگاه دانش را مشخص کنید. ویژگی های فرعی زیر مورد نیاز است:
  • نوع - مقدار را مشخص کنید VECTOR.
  • VectorKnowledgeBaseConfiguration - حاوی جزئیاتی در مورد مدل مورد استفاده برای ایجاد جاسازی های برداری برای پایگاه دانش است.
• StorageConfiguration – اطلاعات مربوط به ذخیره برداری که منبع داده در آن است را مشخص کنید ذخیره شده. ویژگی های فرعی زیر مورد نیاز است:
  • نوع – سرویس فروشگاه برداری را که استفاده می کنید مشخص کنید.
  • همچنین باید یکی از فروشگاه‌های وکتوری را که توسط پایگاه‌های دانش پشتیبانی می‌شوند، مانند OpenSearchServerless، Pinecone یا Amazon PostgreSQL انتخاب کنید و پیکربندی را برای فروشگاه برداری انتخاب شده ارائه دهید.

برای جزئیات در مورد تمام زمینه ها و ارائه پیکربندی فروشگاه های برداری مختلف پشتیبانی شده توسط پایگاه های دانش برای Amazon Bedrock، به AWS:: بستر:: پایگاه دانش.

فروشگاه‌های وکتور Redis Enterprise Cloud تا زمان نوشتن این مقاله در AWS CloudFormation پشتیبانی نمی‌شوند. برای آخرین اطلاعات، لطفا به اسناد بالا مراجعه کنید.

پس از ایجاد یک پایگاه دانش، باید یک منبع داده از آن ایجاد کنید سرویس ذخیره سازی ساده آمازون سطل (Amazon S3) حاوی فایل های پایگاه دانش شما. را فرا می خواند CreateDataSource و DeleteDataSource API ها

نمونه زیر می باشد اسکریپت CloudFormation با فرمت JSON:

{
    "Type" : "AWS::Bedrock::DataSource", 
    "Properties" : {
        "KnowledgeBaseId": String,
        "Name": String,
        "RoleArn": String,
        "Description": String,
        "DataSourceConfiguration": {
  		"S3Configuration" : S3DataSourceConfiguration,
  		"Type" : String
},
ServerSideEncryptionConfiguration":ServerSideEncryptionConfiguration,           
"VectorIngestionConfiguration": VectorIngestionConfiguration
    } 
}

Type یک منبع داده را به عنوان منبع در یک الگوی سطح بالا مشخص می کند. حداقل باید ویژگی های زیر را مشخص کنید:

• نام – یک نام برای منبع داده مشخص کنید.
• KnowledgeBaseId – شناسه پایگاه دانشی که منبع داده به آن تعلق دارد را مشخص کنید.
• DataSourceConfiguration – اطلاعات مربوط به سطل S3 حاوی منبع داده را مشخص کنید. ویژگی های فرعی زیر مورد نیاز است:
  • نوع – مقدار S3 را مشخص کنید.
  • پیکربندی S3 - حاوی جزئیات مربوط به پیکربندی شی S3 حاوی منبع داده است.
• VectorIngestionConfiguration - حاوی جزئیاتی در مورد نحوه جذب اسناد در یک منبع داده است. شما باید ارائه کنید "ChunkingConfiguration” جایی که می توانید استراتژی تکه تکه شدن خود را تعریف کنید.
• ServerSideEncryptionConfiguration - شامل پیکربندی برای رمزگذاری سمت سرور است، که در آن می توانید نام منبع آمازون (ARN) کلید AWS KMS مورد استفاده برای رمزگذاری منبع را ارائه دهید.

برای اطلاعات بیشتر در مورد راه اندازی منابع داده در Amazon Bedrock، نگاه کنید یک منبع داده برای پایگاه دانش خود تنظیم کنید.

توجه: پس از ایجاد منبع داده، نمی توانید پیکربندی chunking را تغییر دهید.

الگوی CloudFormation به شما امکان می دهد منابع پایگاه دانش خود را با استفاده از زیرساخت به عنوان کد (IaC) تعریف و مدیریت کنید. با خودکار کردن راه اندازی و مدیریت پایگاه دانش، می توانید یک زیرساخت ثابت در محیط های مختلف فراهم کنید. این رویکرد با ستون تعالی عملیاتی هماهنگ است که بر اجرای عملیات به عنوان کد تأکید دارد. با در نظر گرفتن کل حجم کاری خود به عنوان کد، می توانید فرآیندها را خودکار کنید، پاسخ های ثابتی به رویدادها ایجاد کنید و در نهایت خطاهای انسانی را کاهش دهید.

سیاست های شبکه خصوصی برای Amazon OpenSearch Serverless

برای شرکت‌هایی که برنامه‌های RAG را می‌سازند، بسیار مهم است که داده‌ها امن بماند و ترافیک شبکه به اینترنت عمومی نرود. برای پشتیبانی از این، پایگاه های دانش برای آمازون بستر اکنون از خط مشی های شبکه خصوصی پشتیبانی می کند بدون سرور جستجوی باز آمازون.

پایگاه های دانش برای Amazon Bedrock گزینه ای برای استفاده از OpenSearch Serverless به عنوان یک فروشگاه برداری فراهم می کند. اکنون می‌توانید به مجموعه‌های OpenSearch Serverless که دارای خط‌مشی شبکه خصوصی هستند دسترسی داشته باشید، که وضعیت امنیتی را برای برنامه RAG شما بیشتر می‌کند. برای رسیدن به این هدف، باید یک مجموعه OpenSearch Serverless ایجاد کنید و آن را برای دسترسی به شبکه خصوصی پیکربندی کنید. ابتدا یک نمایه برداری در مجموعه ایجاد کنید تا جاسازی ها را ذخیره کنید. سپس در حین ایجاد مجموعه، تنظیم کنید تنظیمات دسترسی به شبکه به خصوصی و نقطه پایانی VPC را برای دسترسی مشخص کنید. مهم این است که اکنون می توانید ارائه دهید دسترسی به شبکه خصوصی به OpenSearch Serverless مجموعه هایی به طور خاص برای Amazon Bedrock. برای انجام این کار، را انتخاب کنید دسترسی خصوصی سرویس AWS و مشخص کنید bedrock.amazonaws.com به عنوان سرویس

این پیکربندی شبکه خصوصی مطمئن می‌شود که جاسازی‌های شما به صورت ایمن ذخیره می‌شوند و فقط توسط Amazon Bedrock قابل دسترسی هستند و امنیت کلی و حریم خصوصی پایگاه‌های دانش شما را افزایش می‌دهد. از نزدیک با ستون امنیتی کنترل ترافیک در تمام لایه ها، زیرا تمام ترافیک شبکه با این تنظیمات در ستون فقرات AWS نگهداری می شود.

تا کنون، ما اتوماسیون ایجاد، حذف و به‌روزرسانی منابع پایگاه دانش و امنیت افزایش یافته را از طریق خط‌مشی‌های شبکه خصوصی برای OpenSearch Serverless بررسی کرده‌ایم تا جاسازی‌های برداری را به صورت ایمن ذخیره کنیم. اکنون، بیایید نحوه ساخت برنامه های RAG قابل اعتمادتر، جامع تر و بهینه تر از هزینه را درک کنیم.

چند سطل S3 به عنوان منابع داده

پایگاه‌های دانش برای Amazon Bedrock اکنون از افزودن چندین سطل S3 به عنوان منابع داده در پایگاه دانش واحد، از جمله دسترسی بین حساب‌ها، پشتیبانی می‌کند. این بهبود جامعیت و دقت پایگاه دانش را با امکان جمع آوری و استفاده یکپارچه از اطلاعات از منابع مختلف به کاربران امکان می دهد.

موارد زیر ویژگی های کلیدی هستند:

• چند سطل S3 – پایگاه های دانش برای Amazon Bedrock اکنون می توانند داده ها را از چندین سطل S3 ترکیب کنند و کاربران را قادر می سازد تا اطلاعات منابع مختلف را بدون زحمت ترکیب و استفاده کنند. این ویژگی تنوع داده‌ها را ارتقا می‌دهد و اطمینان می‌دهد که اطلاعات مرتبط به راحتی برای برنامه‌های مبتنی بر RAG در دسترس است.
• دسترسی به داده های بین حسابی – پایگاه های دانش برای Amazon Bedrock از پیکربندی سطل های S3 به عنوان منابع داده در حساب های مختلف پشتیبانی می کند. شما می توانید اعتبار لازم برای دسترسی به این منابع داده را فراهم کنید و دامنه اطلاعاتی را که می توان در پایگاه های دانش آنها گنجانید گسترش دهید.
• مدیریت کارآمد داده ها – When setting up a data source in a knowledge base, you can specify whether the data belonging to that data source should be retained or deleted if the data source is deleted. This feature ensures that your knowledge base remains up-to-date and free from obsolete or irrelevant data, maintaining the integrity and accuracy of the RAG process.

با پشتیبانی از چندین سطل S3 به عنوان منابع داده، نیاز به ایجاد پایگاه‌های دانش متعدد یا کپی‌های داده اضافی از بین می‌رود، در نتیجه هزینه‌ها و مدیریت مالی ابری ارتقا می‌یابد. علاوه بر این، قابلیت‌های دسترسی متقابل، توسعه معماری‌های انعطاف‌پذیر را امکان‌پذیر می‌سازد، که با ستون قابلیت اطمینان چارچوب AWS Well-Architected Framework همسو می‌شود، در دسترس بودن و تحمل خطا بالا را فراهم می‌کند.

سایر ویژگی های اخیراً اعلام شده برای پایگاه های دانش

برای افزایش بیشتر قابلیت اطمینان برنامه RAG شما، پایگاه های دانش برای Amazon Bedrock اکنون پشتیبانی از سهمیه خدمات. این ویژگی یک صفحه شیشه ای را برای مشاهده مقادیر سهمیه AWS اعمال شده و میزان استفاده فراهم می کند. برای مثال، اکنون به اطلاعاتی مانند تعداد مجاز `` دسترسی سریع داریدRetrieveAndGenerate درخواست های API در هر ثانیه

این ویژگی به شما امکان می دهد تا سهمیه های منابع را به طور مؤثر مدیریت کنید، از تامین بیش از حد جلوگیری کنید و نرخ درخواست API را محدود کنید تا از خدمات در برابر سوء استفاده احتمالی محافظت کنید.

همچنین می‌توانید با استفاده از ویژگی‌هایی که اخیراً اعلام شده‌اند، عملکرد برنامه خود را افزایش دهید جستجوی ترکیبی, فیلتر کردن بر اساس ابرداده, درخواست های سفارشی برای RetreiveAndGenerate API و حداکثر تعداد بازیابی ها. این ویژگی‌ها در مجموع دقت، ارتباط و سازگاری پاسخ‌های تولید شده را بهبود می‌بخشند و با ستون کارایی عملکرد چارچوب AWS با معماری خوب هماهنگ می‌شوند.

پایگاه‌های دانش برای Amazon Bedrock با استفاده از خدمات مدیریت‌شده و بهینه‌سازی استفاده از منابع، با ستون پایداری چارچوب خوش‌معماری AWS همسو می‌شود. به‌عنوان یک سرویس کاملاً مدیریت‌شده، پایگاه‌های دانش برای Amazon Bedrock بار تأمین، مدیریت و مقیاس‌بندی زیرساخت‌های زیربنایی را از بین می‌برد و در نتیجه تأثیرات زیست‌محیطی مرتبط با بهره‌برداری و نگهداری این منابع را کاهش می‌دهد.

علاوه بر این، با همسویی با اصول AWS Well-Architected، سازمان ها می توانند برنامه های RAG خود را به شیوه ای پایدار طراحی و اجرا کنند. اقداماتی مانند خودکارسازی استقرارها از طریق AWS CloudFormation، پیاده‌سازی خط‌مشی‌های شبکه خصوصی برای دسترسی ایمن به داده‌ها، و استفاده از سرویس‌های کارآمد مانند OpenSearch Serverless به به حداقل رساندن اثرات زیست‌محیطی این حجم‌های کاری کمک می‌کند.

به طور کلی، پایگاه‌های دانش برای Amazon Bedrock، همراه با چارچوب AWS به خوبی معماری، سازمان‌ها را قادر می‌سازد تا برنامه‌های RAG مقیاس‌پذیر، ایمن و قابل اعتماد ایجاد کنند و در عین حال پایداری زیست‌محیطی را از طریق استفاده کارآمد از منابع و پذیرش خدمات مدیریت شده در اولویت قرار دهند.

نتیجه

ویژگی‌های جدید در سطح سازمانی، مانند پشتیبانی از AWS CloudFormation، سیاست‌های شبکه خصوصی، امکان استفاده از چندین سطل S3 به عنوان منابع داده، و پشتیبانی از سهمیه‌های خدمات، ساخت برنامه‌های RAG مقیاس‌پذیر، ایمن و قابل اعتماد با پایگاه‌های دانش را آسان می‌کند. برای آمازون بستر. استفاده از سرویس‌های مدیریت‌شده AWS و پیروی از بهترین شیوه‌های معماری به‌خوبی به سازمان‌ها اجازه می‌دهد تا روی ارائه راه‌حل‌های خلاقانه هوش مصنوعی و در عین حال ارائه برتری عملیاتی، امنیت قوی و استفاده کارآمد از منابع تمرکز کنند. همانطور که برنامه‌های کاربردی را بر روی AWS می‌سازید، همراستایی برنامه‌های RAG با چارچوب AWS Well-Architected یک پایه محکم برای ایجاد راه‌حل‌های درجه یک سازمانی فراهم می‌کند که در عین رعایت استانداردهای صنعت، ارزش کسب‌وکار را افزایش می‌دهد.

برای منابع اضافی به موارد زیر مراجعه کنید:

درباره نویسندگان

مانی خانوجه پیشرو در فناوری - متخصصان هوش مصنوعی مولد، نویسنده کتاب یادگیری ماشین کاربردی و محاسبات با عملکرد بالا در AWS، و عضو هیئت مدیره بنیاد آموزش زنان در تولید است. او پروژه های یادگیری ماشینی را در حوزه های مختلف مانند بینایی کامپیوتر، پردازش زبان طبیعی و هوش مصنوعی مولد رهبری می کند. او در کنفرانس‌های داخلی و خارجی مانند AWS re:Invent، Women in Manufacturing West، وبینارهای YouTube و GHC 23 صحبت می‌کند. او در اوقات فراغت خود دوست دارد برای دویدن طولانی در کنار ساحل برود.

نیتین اوسبیوس یک معمار راه حل های سازمانی Sr. در AWS، با تجربه در مهندسی نرم افزار، معماری سازمانی، و AI/ML است. او عمیقاً مشتاق کشف امکانات هوش مصنوعی مولد است. او با مشتریان همکاری می کند تا به آنها کمک کند تا برنامه های کاربردی با معماری خوب بر روی پلت فرم AWS بسازند، و به حل چالش های فناوری و کمک به سفر ابری آنها اختصاص دارد.

پالوی نارگوند یک معمار اصلی راه حل در AWS است. او در نقش خود به عنوان یک فعال کننده فناوری ابری، با مشتریان کار می کند تا اهداف و چالش های آنها را درک کند و راهنمایی های تجویزی برای دستیابی به هدف خود با پیشنهادات AWS ارائه دهد. او علاقه زیادی به زنان در فناوری دارد و یکی از اعضای اصلی زنان در هوش مصنوعی/ML در آمازون است. او در کنفرانس های داخلی و خارجی مانند AWS re:Invent، AWS Summits و وبینارها سخنرانی می کند. او در خارج از محل کار از کار داوطلبانه، باغبانی، دوچرخه سواری و پیاده روی لذت می برد.

• محتوای مبتنی بر SEO و توزیع روابط عمومی. امروز تقویت شوید.
• PlatoData.Network Vertical Generative Ai. به خودت قدرت بده دسترسی به اینجا.
• PlatoAiStream. هوش وب 3 دانش تقویت شده دسترسی به اینجا.
• PlatoESG. کربن ، CleanTech، انرژی، محیط، خورشیدی، مدیریت پسماند دسترسی به اینجا.
• PlatoHealth. هوش بیوتکنولوژی و آزمایشات بالینی. دسترسی به اینجا.
• منبع: https://aws.amazon.com/blogs/machine-learning/building-scalable-secure-and-reliable-rag-applications-using-knowledge-bases-for-amazon-bedrock/