Trí thông minh dữ liệu tạo

AI

Xây dựng các ứng dụng RAG có thể mở rộng, an toàn và đáng tin cậy bằng Cơ sở kiến ​​thức cho Amazon Bedrock | Dịch vụ web của Amazon

Tái bản bởi Plato
Tái bản bởi Plato

Ngày:

Lượt xem: 0

Trí tuệ nhân tạo sáng tạo (AI) đã đạt được động lực đáng kể khi các tổ chức tích cực khám phá các ứng dụng tiềm năng của nó. Khi quá trình chuyển đổi bằng chứng khái niệm thành công sang sản xuất, các tổ chức ngày càng cần các giải pháp có thể mở rộng cho doanh nghiệp. Tuy nhiên, để đạt được thành công lâu dài và khả năng tồn tại của các giải pháp hỗ trợ AI này, điều quan trọng là phải điều chỉnh chúng phù hợp với các nguyên tắc kiến ​​trúc đã được thiết lập tốt.

Khung kiến ​​trúc tối ưu AWS cung cấp các biện pháp thực hành và hướng dẫn tốt nhất để thiết kế và vận hành các hệ thống đáng tin cậy, an toàn, hiệu quả và tiết kiệm chi phí trên đám mây. Việc điều chỉnh các ứng dụng AI tổng quát với khung này là điều cần thiết vì nhiều lý do, bao gồm cung cấp khả năng mở rộng, duy trì bảo mật và quyền riêng tư, đạt được độ tin cậy, tối ưu hóa chi phí và hợp lý hóa hoạt động. Việc tuân thủ những nguyên tắc này là rất quan trọng đối với các tổ chức đang tìm cách sử dụng sức mạnh của AI tổng hợp và thúc đẩy sự đổi mới.

Bài đăng này khám phá các tính năng mới cấp doanh nghiệp dành cho Cơ sở kiến ​​thức trên Amazon Bedrock và cách chúng phù hợp với Khung kiến ​​trúc tối ưu AWS. Với Cơ sở kiến ​​thức dành cho Amazon Bedrock, bạn có thể nhanh chóng xây dựng các ứng dụng bằng cách sử dụng Thế hệ tăng cường truy xuất (RAG) cho các trường hợp sử dụng như trả lời câu hỏi, chatbot theo ngữ cảnh và tìm kiếm được cá nhân hóa.

Dưới đây là một số tính năng mà chúng tôi sẽ đề cập:

  1. Hỗ trợ AWS CloudFormation
  2. Chính sách mạng riêng cho Amazon OpenSearch Serverless
  3. Nhiều nhóm S3 làm nguồn dữ liệu
  4. Hỗ trợ định mức dịch vụ
  5. Tìm kiếm kết hợp, bộ lọc siêu dữ liệu, lời nhắc tùy chỉnh cho RetreiveAndGenerate API và số lần truy xuất tối đa.

Nguyên tắc thiết kế kiến ​​trúc tối ưu của AWS

Các ứng dụng dựa trên RAG được xây dựng bằng Cơ sở kiến ​​thức cho Amazon Bedrock có thể hưởng lợi rất nhiều từ việc tuân theo Khung được kiến ​​trúc tốt của AWS. Khung này có sáu trụ cột giúp các tổ chức đảm bảo ứng dụng của họ an toàn, hiệu suất cao, linh hoạt, hiệu quả, tiết kiệm chi phí và bền vững:

  • Hoạt động xuất sắc – Các nguyên tắc kiến ​​trúc tốt hợp lý hóa các hoạt động, tự động hóa quy trình, đồng thời cho phép giám sát và cải thiện liên tục hiệu suất ứng dụng AI tổng quát.
  • Bảo mật – Triển khai các biện pháp kiểm soát truy cập, mã hóa và giám sát mạnh mẽ giúp bảo mật dữ liệu nhạy cảm được sử dụng trong cơ sở kiến ​​thức của tổ chức bạn và ngăn chặn việc lạm dụng AI tổng hợp.
  • Độ tin cậy – Các nguyên tắc Kiến trúc tốt hướng dẫn việc thiết kế các hệ thống có khả năng phục hồi và có khả năng chịu lỗi cao, mang lại giá trị nhất quán cho người dùng.
  • Tối ưu hóa hiệu suất – Chọn tài nguyên thích hợp, triển khai chiến lược bộ nhớ đệm và chủ động giám sát số liệu hiệu suất đảm bảo rằng các ứng dụng cung cấp phản hồi nhanh và chính xác, mang lại hiệu suất tối ưu và nâng cao trải nghiệm người dùng.
  • Tối ưu hóa chi phí – Các nguyên tắc có kiến ​​trúc tốt hỗ trợ tối ưu hóa việc sử dụng tài nguyên, sử dụng các dịch vụ tiết kiệm chi phí và giám sát chi phí, mang lại khả năng tồn tại lâu dài cho các dự án AI tổng hợp.
  • Tính bền vững – Các nguyên tắc kiến ​​trúc hợp lý thúc đẩy việc sử dụng tài nguyên hiệu quả và giảm thiểu lượng khí thải carbon, giải quyết tác động môi trường của việc sử dụng AI tổng hợp ngày càng tăng.

Bằng cách điều chỉnh theo Khung kiến ​​trúc tối ưu, các tổ chức có thể xây dựng và quản lý hiệu quả các ứng dụng RAG cấp doanh nghiệp bằng cách sử dụng Cơ sở kiến ​​thức cho Amazon Bedrock. Bây giờ, hãy cùng tìm hiểu sâu hơn về các tính năng mới được ra mắt trong Cơ sở kiến ​​thức dành cho Amazon Bedrock.

Hỗ trợ AWS CloudFormation

Đối với các tổ chức xây dựng ứng dụng RAG, điều quan trọng là cung cấp các hoạt động hiệu quả và hiệu suất cũng như cơ sở hạ tầng nhất quán trên các môi trường khác nhau. Điều này có thể đạt được bằng cách thực hiện các biện pháp thực hành như tự động hóa quy trình triển khai. Để thực hiện điều này, Cơ sở Kiến thức dành cho Amazon Bedrock hiện cung cấp hỗ trợ cho Hình thành đám mây AWS.

Với AWS CloudFormation và Bộ công cụ phát triển đám mây AWS (AWS CDK), giờ đây bạn có thể tạo, cập nhật và xóa cơ sở kiến ​​thức cũng như các nguồn dữ liệu liên quan. Việc áp dụng AWS CloudFormation và AWS CDK để quản lý cơ sở kiến ​​thức và nguồn dữ liệu liên quan không chỉ đơn giản hóa quy trình triển khai mà còn thúc đẩy việc tuân thủ các nguyên tắc Kiến trúc tối ưu. Bằng cách thực hiện các hoạt động (ứng dụng, cơ sở hạ tầng) dưới dạng mã, bạn có thể cung cấp các hoạt động triển khai nhất quán và đáng tin cậy trong nhiều tài khoản AWS và Khu vực AWS, đồng thời duy trì các cấu hình cơ sở hạ tầng có thể kiểm tra và lập phiên bản.

Sau đây là một mẫu Tập lệnh CloudFormation ở định dạng JSON để tạo và cập nhật cơ sở kiến ​​thức trong Amazon Bedrock:

{
    "Type" : "AWS::Bedrock::KnowledgeBase", 
    "Properties" : {
        "Name": String,
        "RoleArn": String,
        "Description": String,
        "KnowledgeBaseConfiguration": {
  		"Type" : String,
  		"VectorKnowledgeBaseConfiguration" : VectorKnowledgeBaseConfiguration
},
        "StorageConfiguration": StorageConfiguration,            
    } 
}

Type chỉ định cơ sở kiến ​​thức làm tài nguyên trong mẫu cấp cao nhất. Tối thiểu, bạn phải chỉ định các thuộc tính sau:

  • Họ tên – Đặt tên cho cơ sở tri thức.
  • VaiArn – Chỉ định Tên tài nguyên Amazon (ARN) của Quản lý truy cập và nhận dạng AWS (IAM) có quyền gọi các hoạt động API trên cơ sở kiến ​​thức. Để biết thêm thông tin, xem Tạo vai trò dịch vụ cho Cơ sở kiến ​​thức cho Amazon Bedrock.
  • Cấu hình cơ sở kiến ​​thức – Chỉ định cấu hình nhúng của cơ sở tri thức. Các thuộc tính phụ sau đây là bắt buộc:
    • Kiểu – Xác định giá trị VECTOR.
    • VectorKiến thứcCơ sởCấu hình – Chứa thông tin chi tiết về mô hình được sử dụng để tạo các vectơ nhúng cho cơ sở tri thức.
  • Cấu hình lưu trữ – Chỉ định thông tin về kho vector chứa nguồn dữ liệu lưu trữ. Các thuộc tính phụ sau đây là bắt buộc:
    • Kiểu – Chỉ định dịch vụ lưu trữ vector mà bạn đang sử dụng.
    • Bạn cũng cần chọn một trong các kho vectơ được Cơ sở tri thức hỗ trợ, chẳng hạn như OpenSearchServerless, Pinecone hoặc Amazon PostgreSQL và cung cấp cấu hình cho kho vectơ đã chọn.

Để biết thông tin chi tiết về tất cả các trường và cung cấp cấu hình của các cửa hàng vectơ khác nhau được Cơ sở kiến ​​thức cho Amazon Bedrock hỗ trợ, hãy tham khảo AWS::Bedrock::KnowledgeBase.

Các cửa hàng vectơ Redis Enterprise Cloud không được hỗ trợ tại thời điểm viết bài này trong AWS CloudFormation. Để biết thông tin mới nhất, vui lòng tham khảo tài liệu ở trên.

Sau khi tạo cơ sở tri thức, bạn cần tạo nguồn dữ liệu từ Dịch vụ lưu trữ đơn giản của Amazon (Amazon S3) chứa các tệp cơ sở kiến ​​thức của bạn. Nó gọi CreateDataSource và DeleteDataSource API.

Sau đây là mẫu Tập lệnh CloudFormation ở định dạng JSON:

{
    "Type" : "AWS::Bedrock::DataSource", 
    "Properties" : {
        "KnowledgeBaseId": String,
        "Name": String,
        "RoleArn": String,
        "Description": String,
        "DataSourceConfiguration": {
  		"S3Configuration" : S3DataSourceConfiguration,
  		"Type" : String
},
ServerSideEncryptionConfiguration":ServerSideEncryptionConfiguration,           
"VectorIngestionConfiguration": VectorIngestionConfiguration
    } 
}

Type chỉ định nguồn dữ liệu làm tài nguyên trong mẫu cấp cao nhất. Tối thiểu, bạn phải chỉ định các thuộc tính sau:

  • Họ tên – Chỉ định tên cho nguồn dữ liệu.
  • Id cơ sở kiến ​​thức – Chỉ định ID của cơ sở tri thức mà nguồn dữ liệu thuộc về.
  • Cấu hình nguồn dữ liệu – Chỉ định thông tin về nhóm S3 chứa nguồn dữ liệu. Các thuộc tính phụ sau đây là bắt buộc:
    • Kiểu – Xác định giá trị S3.
    • Cấu hình S3 – Chứa thông tin chi tiết về cấu hình của đối tượng S3 chứa nguồn dữ liệu.
  • VectorIngestionCấu hình – Chứa thông tin chi tiết về cách nhập tài liệu vào nguồn dữ liệu. Bạn cần cung cấp “ChunkingCấu hình” nơi bạn có thể xác định chiến lược phân chia của mình.
  • Cấu hình mã hóa phía máy chủ – Chứa cấu hình mã hóa phía máy chủ, nơi bạn có thể cung cấp Tên tài nguyên Amazon (ARN) của khóa AWS KMS dùng để mã hóa tài nguyên.

Để biết thêm thông tin về cách thiết lập nguồn dữ liệu trong Amazon Bedrock, hãy xem Thiết lập nguồn dữ liệu cho cơ sở kiến ​​thức của bạn.

Lưu ý: Bạn không thể thay đổi cấu hình phân đoạn sau khi tạo nguồn dữ liệu.

Mẫu CloudFormation cho phép bạn xác định và quản lý tài nguyên cơ sở kiến ​​thức của mình bằng cách sử dụng cơ sở hạ tầng dưới dạng mã (IaC). Bằng cách tự động hóa việc thiết lập và quản lý cơ sở kiến ​​thức, bạn có thể cung cấp cơ sở hạ tầng nhất quán trên các môi trường khác nhau. Cách tiếp cận này phù hợp với trụ cột Vận hành xuất sắc, trong đó nhấn mạnh việc thực hiện các hoạt động dưới dạng mã. Bằng cách xử lý toàn bộ khối lượng công việc của bạn dưới dạng mã, bạn có thể tự động hóa các quy trình, tạo phản hồi nhất quán cho các sự kiện và cuối cùng là giảm thiểu lỗi của con người.

Chính sách mạng riêng cho Amazon OpenSearch Serverless

Đối với các công ty xây dựng ứng dụng RAG, điều quan trọng là dữ liệu phải được bảo mật và lưu lượng truy cập mạng không được truy cập vào Internet công cộng. Để hỗ trợ điều này, Cơ sở Kiến thức dành cho Amazon Bedrock hiện hỗ trợ các chính sách mạng riêng cho Amazon OpenSearch Serverless.

Cơ sở Kiến thức dành cho Amazon Bedrock cung cấp tùy chọn sử dụng OpenSearch Serverless làm cửa hàng vectơ. Giờ đây, bạn có thể truy cập các bộ sưu tập OpenSearch Serverless có chính sách mạng riêng, điều này giúp nâng cao hơn nữa tình hình bảo mật cho ứng dụng RAG của bạn. Để đạt được điều này, bạn cần tạo một bộ sưu tập OpenSearch Serverless và định cấu hình nó để truy cập mạng riêng. Đầu tiên, tạo chỉ mục vectơ trong bộ sưu tập để lưu trữ các phần nhúng. Sau đó, trong khi tạo bộ sưu tập, hãy đặt Cài đặt truy cập mạng đến Riêng và chỉ định điểm cuối VPC để truy cập. Điều quan trọng là bây giờ bạn có thể cung cấp truy cập mạng riêng vào OpenSearch Serverless bộ sưu tập dành riêng cho Amazon Bedrock. Để thực hiện việc này, hãy chọn Quyền truy cập riêng tư vào dịch vụ AWS và chỉ định bedrock.amazonaws.com như dịch vụ.

Cấu hình mạng riêng này đảm bảo rằng các phần nhúng của bạn được lưu trữ an toàn và chỉ Amazon Bedrock mới có thể truy cập được, tăng cường tính bảo mật và quyền riêng tư tổng thể cho cơ sở kiến ​​thức của bạn. Nó gắn kết chặt chẽ với Trụ cột an ninh kiểm soát lưu lượng truy cập ở tất cả các lớp vì tất cả lưu lượng truy cập mạng được lưu giữ trong đường trục AWS với các cài đặt này.

Cho đến nay, chúng tôi đã khám phá tính năng tự động hóa việc tạo, xóa và cập nhật tài nguyên cơ sở kiến ​​thức cũng như khả năng bảo mật nâng cao thông qua các chính sách mạng riêng dành cho OpenSearch Serverless để lưu trữ các phần nhúng vectơ một cách an toàn. Bây giờ, hãy tìm hiểu cách xây dựng các ứng dụng RAG đáng tin cậy, toàn diện và tối ưu hóa chi phí hơn.

Nhiều nhóm S3 làm nguồn dữ liệu

Cơ sở kiến ​​thức cho Amazon Bedrock hiện hỗ trợ thêm nhiều nhóm S3 làm nguồn dữ liệu trong cơ sở kiến ​​thức duy nhất, bao gồm cả quyền truy cập nhiều tài khoản. Cải tiến này làm tăng tính toàn diện và chính xác của cơ sở kiến ​​thức bằng cách cho phép người dùng tổng hợp và sử dụng thông tin từ nhiều nguồn khác nhau một cách liền mạch.

Sau đây là các tính năng chính:

  • Nhiều nhóm S3 – Cơ sở Kiến thức cho Amazon Bedrock giờ đây có thể kết hợp dữ liệu từ nhiều bộ chứa S3, cho phép người dùng kết hợp và sử dụng thông tin từ nhiều nguồn khác nhau một cách dễ dàng. Tính năng này thúc đẩy tính đa dạng của dữ liệu và đảm bảo rằng thông tin liên quan luôn sẵn có cho các ứng dụng dựa trên RAG.
  • Truy cập dữ liệu nhiều tài khoản – Cơ sở kiến ​​thức cho Amazon Bedrock hỗ trợ cấu hình bộ chứa S3 dưới dạng nguồn dữ liệu trên các tài khoản khác nhau. Bạn có thể cung cấp thông tin xác thực cần thiết để truy cập các nguồn dữ liệu này, mở rộng phạm vi thông tin có thể được tích hợp vào cơ sở kiến ​​thức của chúng.
  • Quản lý dữ liệu hiệu quả – Khi thiết lập nguồn dữ liệu trong cơ sở kiến ​​thức, bạn có thể chỉ định liệu dữ liệu thuộc nguồn dữ liệu đó sẽ được giữ lại hay xóa nếu nguồn dữ liệu bị xóa. Tính năng này đảm bảo rằng cơ sở kiến ​​thức của bạn luôn được cập nhật và không có dữ liệu lỗi thời hoặc không liên quan, duy trì tính toàn vẹn và chính xác của quy trình RAG.

Bằng cách hỗ trợ nhiều nhóm S3 làm nguồn dữ liệu, nhu cầu tạo nhiều cơ sở kiến ​​thức hoặc bản sao dữ liệu dư thừa sẽ bị loại bỏ, từ đó tối ưu hóa chi phí và thúc đẩy quản lý tài chính trên đám mây. Hơn nữa, khả năng truy cập nhiều tài khoản cho phép phát triển kiến ​​trúc linh hoạt, phù hợp với trụ cột Độ tin cậy của Khung kiến ​​trúc tối ưu AWS, mang lại tính sẵn sàng cao và khả năng chịu lỗi.

Các tính năng được công bố gần đây khác dành cho Cơ sở Kiến thức

Để nâng cao hơn nữa độ tin cậy của ứng dụng RAG của bạn, Cơ sở Kiến thức dành cho Amazon Bedrock hiện mở rộng hỗ trợ cho hạn ngạch dịch vụ. Tính năng này cung cấp một khung kính duy nhất để xem các giá trị và mức sử dụng hạn ngạch AWS được áp dụng. Ví dụ: bây giờ bạn có thể truy cập nhanh vào thông tin như số lượng ` được phépRetrieveAndGenerate Yêu cầu API mỗi giây.

Tính năng này cho phép bạn quản lý hiệu quả hạn mức tài nguyên, ngăn chặn việc cung cấp quá mức và giới hạn tỷ lệ yêu cầu API để bảo vệ dịch vụ khỏi khả năng bị lạm dụng.

Bạn cũng có thể nâng cao hiệu suất ứng dụng của mình bằng cách sử dụng các tính năng được công bố gần đây như tìm kiếm kết hợp, lọc dựa trên siêu dữ liệu, lời nhắc tùy chỉnh cho API RetreiveAndGenerate và số lần truy xuất tối đa. Các tính năng này cùng nhau cải thiện độ chính xác, mức độ liên quan và tính nhất quán của các phản hồi được tạo và phù hợp với trụ cột Hiệu suất hiệu suất của Khung kiến ​​trúc tối ưu AWS.

Cơ sở kiến ​​thức dành cho Amazon Bedrock phù hợp với trụ cột Tính bền vững của Khung kiến ​​trúc tối ưu AWS bằng cách sử dụng các dịch vụ được quản lý và tối ưu hóa việc sử dụng tài nguyên. Là một dịch vụ được quản lý toàn phần, Cơ sở tri thức dành cho Amazon Bedrock loại bỏ gánh nặng cung cấp, quản lý và mở rộng quy mô cơ sở hạ tầng cơ bản, từ đó giảm tác động môi trường liên quan đến việc vận hành và duy trì các tài nguyên này.

Ngoài ra, bằng cách tuân thủ các nguyên tắc Kiến trúc tối ưu của AWS, các tổ chức có thể thiết kế và vận hành ứng dụng RAG của mình một cách bền vững. Các biện pháp như tự động hóa quá trình triển khai thông qua AWS CloudFormation, triển khai các chính sách mạng riêng để truy cập dữ liệu an toàn và sử dụng các dịch vụ hiệu quả như OpenSearch Serverless góp phần giảm thiểu tác động môi trường của những khối lượng công việc này.

Nhìn chung, Cơ sở kiến ​​thức dành cho Amazon Bedrock, kết hợp với Khung kiến ​​trúc tối ưu AWS, hỗ trợ các tổ chức xây dựng các ứng dụng RAG có quy mô linh hoạt, bảo mật và đáng tin cậy, đồng thời ưu tiên tính bền vững của môi trường thông qua việc sử dụng tài nguyên hiệu quả và áp dụng các dịch vụ được quản lý.

Kết luận

Các tính năng mới cấp doanh nghiệp, chẳng hạn như hỗ trợ AWS CloudFormation, chính sách mạng riêng, khả năng sử dụng nhiều bộ chứa S3 làm nguồn dữ liệu và hỗ trợ Định mức dịch vụ, giúp việc xây dựng các ứng dụng RAG có thể mở rộng, an toàn và đáng tin cậy với Cơ sở Kiến thức trở nên đơn giản cho Amazon Bedrock. Việc sử dụng các dịch vụ do AWS quản lý và tuân theo các biện pháp thực hành tốt nhất về Kiến trúc tối ưu cho phép các tổ chức tập trung vào việc cung cấp các giải pháp AI có tính sáng tạo cao, đồng thời mang lại khả năng vận hành xuất sắc, bảo mật mạnh mẽ và sử dụng tài nguyên hiệu quả. Khi bạn xây dựng các ứng dụng trên AWS, việc căn chỉnh các ứng dụng RAG với Khung kiến ​​trúc tối ưu AWS sẽ cung cấp nền tảng vững chắc để xây dựng các giải pháp cấp doanh nghiệp nhằm nâng cao giá trị doanh nghiệp trong khi vẫn tuân thủ các tiêu chuẩn ngành.

Để biết thêm tài nguyên, hãy tham khảo các tài liệu sau:

Giới thiệu về tác giả

Mani Khanuja là Trưởng nhóm công nghệ – Chuyên gia AI sáng tạo, tác giả cuốn sách Học máy ứng dụng và Điện toán hiệu suất cao trên AWS, đồng thời là thành viên Ban Giám đốc dành cho Phụ nữ trong Ban Tổ chức Giáo dục Sản xuất. Cô lãnh đạo các dự án học máy trong nhiều lĩnh vực khác nhau như thị giác máy tính, xử lý ngôn ngữ tự nhiên và AI tổng hợp. Cô phát biểu tại các hội nghị nội bộ và bên ngoài như AWS re:Invent, Women in Manufacturing West, hội thảo trực tuyến trên YouTube và GHC 23. Khi rảnh rỗi, cô thích chạy bộ dài dọc bãi biển.

Nitin Eusebius là Kiến trúc sư giải pháp doanh nghiệp cấp cao tại AWS, có kinh nghiệm về Kỹ thuật phần mềm, Kiến trúc doanh nghiệp và AI/ML. Anh ấy rất đam mê khám phá các khả năng của AI có thể tạo ra. Anh cộng tác với khách hàng để giúp họ xây dựng các ứng dụng có kiến ​​trúc tốt trên nền tảng AWS và tận tâm giải quyết các thách thức công nghệ cũng như hỗ trợ hành trình đám mây của họ.

Pallavi Nargund là Kiến trúc sư giải pháp chính tại AWS. Với vai trò là người hỗ trợ công nghệ đám mây, cô làm việc với khách hàng để hiểu mục tiêu và thách thức của họ, đồng thời đưa ra hướng dẫn mang tính quy định để họ đạt được mục tiêu bằng các dịch vụ AWS. Cô đam mê phụ nữ trong lĩnh vực công nghệ và là thành viên cốt lõi của Women in AI/ML tại Amazon. Cô phát biểu tại các hội nghị nội bộ và bên ngoài như AWS re:Invent, Hội nghị thượng đỉnh AWS và hội thảo trên web. Ngoài công việc, cô thích hoạt động tình nguyện, làm vườn, đạp xe và đi bộ đường dài.

tại chỗ_img

Tin tức mới nhất

tại chỗ_img

Bản quyền @ 2024 Plato Technologies Inc.