생성 데이터 인텔리전스

AI

Amazon Bedrock용 기술 자료를 사용하여 확장 가능하고 안전하며 안정적인 RAG 애플리케이션 구축 | 아마존 웹 서비스

Plato에 의해 재발행
Plato에 의해 재발행

시간

조회 수 : 0

생성 인공 지능 (AI)는 조직이 잠재적인 응용 프로그램을 적극적으로 탐색하면서 상당한 추진력을 얻었습니다. 성공적인 개념 증명이 생산으로 전환됨에 따라 조직에서는 엔터프라이즈 확장 가능한 솔루션이 점점 더 필요해지고 있습니다. 그러나 이러한 AI 기반 솔루션의 장기적인 성공과 실행 가능성을 확보하려면 이를 잘 확립된 아키텍처 원칙에 맞추는 것이 중요합니다.

AWS Well-Architected 프레임워크는 클라우드에서 안정적이고 안전하며 효율적이고 비용 효율적인 시스템을 설계하고 운영하기 위한 모범 사례와 지침을 제공합니다. 확장성 제공, 보안 및 개인 정보 보호 유지, 안정성 달성, 비용 최적화, 운영 간소화 등 여러 가지 이유로 생성 AI 애플리케이션을 이 프레임워크에 맞추는 것이 필수적입니다. 이러한 원칙을 수용하는 것은 생성 AI의 힘을 활용하고 혁신을 추진하려는 조직에 매우 중요합니다.

이 게시물에서는 다음을 위한 새로운 엔터프라이즈급 기능을 살펴봅니다. Amazon Bedrock의 기술 자료 AWS Well-Architected 프레임워크와 어떻게 연계되는지 알아보세요. Amazon Bedrock용 지식 베이스를 사용하면 질문 답변, 상황별 챗봇, 개인화된 검색과 같은 사용 사례를 위한 RAG(검색 증강 생성)를 사용하여 애플리케이션을 빠르게 구축할 수 있습니다.

우리가 다룰 몇 가지 기능은 다음과 같습니다.

  1. AWS CloudFormation 지원
  2. Amazon OpenSearch Serverless에 대한 프라이빗 네트워크 정책
  3. 데이터 소스로 사용되는 여러 S3 버킷
  4. 서비스 할당량 지원
  5. 하이브리드 검색, 메타데이터 필터, 사용자 정의 프롬프트 RetreiveAndGenerate API 및 최대 검색 수.

AWS Well-Architected 설계 원칙

Amazon Bedrock에 대한 지식 베이스를 사용하여 구축된 RAG 기반 애플리케이션은 다음을 따르면 큰 이점을 얻을 수 있습니다. AWS Well-Architected 프레임 워크. 이 프레임워크에는 조직이 애플리케이션의 보안, 고성능, 탄력성, 효율성, 비용 효율성 및 지속 가능성을 보장하는 데 도움이 되는 6가지 핵심 요소가 있습니다.

  • 운영 우수성 – Well-Architected 원칙은 운영을 간소화하고, 프로세스를 자동화하며, 생성적 AI 앱 성능을 지속적으로 모니터링하고 개선할 수 있도록 해줍니다.
  • 보안 – 강력한 액세스 제어, 암호화 및 모니터링을 구현하면 조직의 지식 기반에서 사용되는 민감한 데이터를 보호하고 생성 AI의 오용을 방지하는 데 도움이 됩니다.
  • 신뢰성 – Well-Architected 원칙은 탄력적이고 내결함성이 있는 시스템의 설계를 안내하여 사용자에게 일관된 가치를 제공합니다.
  • 성능 최적화 – 적절한 리소스를 선택하고, 캐싱 전략을 구현하고, 성능 지표를 적극적으로 모니터링하면 애플리케이션이 빠르고 정확한 응답을 제공하여 최적의 성능과 향상된 사용자 경험을 얻을 수 있습니다.
  • 비용 최적화 – Well-Architected 지침은 리소스 사용 최적화, 비용 절감 서비스 사용, 비용 모니터링을 지원하여 생성 AI 프로젝트의 장기적인 실행 가능성을 높입니다.
  • 지속 가능성 – Well-Architected 원칙은 효율적인 리소스 활용을 촉진하고 탄소 배출량을 최소화하여 생성적 AI 사용 증가로 인한 환경 영향을 해결합니다.

Well-Architected 프레임워크에 맞춰 조직은 Amazon Bedrock용 지식 베이스를 사용하여 엔터프라이즈급 RAG 애플리케이션을 효과적으로 구축하고 관리할 수 있습니다. 이제 Amazon Bedrock용 기술 자료에서 출시된 새로운 기능에 대해 자세히 살펴보겠습니다.

AWS CloudFormation 지원

RAG 애플리케이션을 구축하는 조직의 경우 다양한 환경에서 효율적이고 효과적인 운영과 일관된 인프라를 제공하는 것이 중요합니다. 이는 배포 프로세스 자동화와 같은 방식을 구현하여 달성할 수 있습니다. 이를 달성하기 위해 Amazon Bedrock에 대한 기술 자료는 이제 다음을 지원합니다. AWS 클라우드 포메이션.

AWS CloudFormation과 AWS 클라우드 개발 키트 (AWS CDK)를 사용하면 이제 기술 자료 및 관련 데이터 소스를 생성, 업데이트 및 삭제할 수 있습니다. 지식 기반 및 관련 데이터 소스 관리를 위해 AWS CloudFormation 및 AWS CDK를 채택하면 배포 프로세스가 간소화될 뿐만 아니라 Well-Architected 원칙 준수도 촉진됩니다. 작업(애플리케이션, 인프라)을 코드로 수행하면 여러 AWS 계정 및 AWS 리전에서 일관되고 안정적인 배포를 제공하고 버전이 지정되고 감사 가능한 인프라 구성을 유지할 수 있습니다.

다음은 샘플입니다 JSON 형식의 CloudFormation 스크립트 Amazon Bedrock에서 지식 기반을 생성하고 업데이트하려면:

{
    "Type" : "AWS::Bedrock::KnowledgeBase", 
    "Properties" : {
        "Name": String,
        "RoleArn": String,
        "Description": String,
        "KnowledgeBaseConfiguration": {
  		"Type" : String,
  		"VectorKnowledgeBaseConfiguration" : VectorKnowledgeBaseConfiguration
},
        "StorageConfiguration": StorageConfiguration,            
    } 
}

Type 기술 자료를 최상위 템플릿의 리소스로 지정합니다. 최소한 다음 속성을 지정해야 합니다.

  • 성함 – 지식 기반의 이름을 지정합니다.
  • 역할 – Amazon 리소스 이름(ARN)을 지정합니다. AWS 자격 증명 및 액세스 관리 (IAM) 기술 자료에서 API 작업을 호출할 수 있는 권한이 있는 역할입니다. 자세한 내용은 다음을 참조하세요. Amazon Bedrock에 대한 기술 자료에 대한 서비스 역할 생성.
  • KnowledgeBase구성 – 지식 베이스의 임베딩 구성을 지정합니다. 다음 하위 속성이 필요합니다.
    • 타입 – 값을 지정하세요 VECTOR.
    • 벡터KnowledgeBase구성 – 지식 베이스에 대한 벡터 임베딩을 생성하는 데 사용되는 모델에 대한 세부 정보가 포함되어 있습니다.
  • 스토리지 구성 – 데이터 소스가 있는 벡터 저장소에 대한 정보를 지정합니다. 저장. 다음 하위 속성이 필요합니다.
    • 타입 – 사용 중인 벡터 저장소 서비스를 지정합니다.
    • 또한 OpenSearchServerless, Pinecone 또는 Amazon PostgreSQL과 같은 기술 자료에서 지원하는 벡터 저장소 중 하나를 선택하고 선택한 벡터 저장소에 대한 구성을 제공해야 합니다.

Amazon Bedrock용 지식 베이스에서 지원하는 모든 필드 및 다양한 벡터 저장소 구성 제공에 대한 자세한 내용은 다음을 참조하세요. AWS::베드록::KnowledgeBase.

Redis Enterprise Cloud 벡터 저장소는 이 글을 쓰는 시점에서 AWS CloudFormation을 지원하지 않습니다. 최신 정보는 위의 문서를 참조하세요.

기술 자료를 만든 후에는 다음에서 데이터 원본을 만들어야 합니다. 아마존 단순 스토리지 서비스 (Amazon S3) 지식 기반 파일이 포함된 버킷입니다. 그것은 전화 CreateDataSource 와 DeleteDataSource 아피스.

다음은 샘플입니다 CloudFormation 스크립트 JSON 형식:

{
    "Type" : "AWS::Bedrock::DataSource", 
    "Properties" : {
        "KnowledgeBaseId": String,
        "Name": String,
        "RoleArn": String,
        "Description": String,
        "DataSourceConfiguration": {
  		"S3Configuration" : S3DataSourceConfiguration,
  		"Type" : String
},
ServerSideEncryptionConfiguration":ServerSideEncryptionConfiguration,           
"VectorIngestionConfiguration": VectorIngestionConfiguration
    } 
}

Type 데이터 소스를 최상위 템플릿의 리소스로 지정합니다. 최소한 다음 속성을 지정해야 합니다.

  • 성함 – 데이터 소스의 이름을 지정합니다.
  • 기술 자료 ID – 데이터소스가 속할 지식베이스의 ID를 지정합니다.
  • 데이터 소스 구성 – 데이터 소스가 포함된 S3 버킷에 대한 정보를 지정합니다. 다음 하위 속성이 필요합니다.
    • 타입 – S3 값을 지정하십시오.
    • S3구성 – 데이터 소스가 포함된 S3 객체의 구성에 대한 세부 정보가 포함되어 있습니다.
  • 벡터수집구성 – 데이터 소스에서 문서를 수집하는 방법에 대한 세부 정보가 포함되어 있습니다. "를 제공해야 합니다.청킹 구성” 청킹 전략을 정의할 수 있는 곳입니다.
  • 서버측 암호화 구성 – 리소스 암호화에 사용되는 AWS KMS 키의 Amazon 리소스 이름(ARN)을 제공할 수 있는 서버 측 암호화 구성이 포함되어 있습니다.

Amazon Bedrock에서 데이터 원본 설정에 대한 자세한 내용은 다음을 참조하세요. 지식창고에 대한 데이터 원본 설정.

참고: 데이터 소스를 생성한 후에는 청크 구성을 변경할 수 없습니다.

CloudFormation 템플릿을 사용하면 IaC(Infrastructure as Code)를 사용하여 지식 기반 리소스를 정의하고 관리할 수 있습니다. 지식창고의 설정과 관리를 자동화함으로써 다양한 환경에서 일관된 인프라를 제공할 수 있습니다. 이 접근 방식은 작업을 코드로 수행하는 것을 강조하는 운영 우수성 원칙과 일치합니다. 전체 워크로드를 코드로 처리하면 프로세스를 자동화하고 이벤트에 대한 일관된 대응을 생성하며 궁극적으로 인적 오류를 줄일 수 있습니다.

Amazon OpenSearch Serverless에 대한 프라이빗 네트워크 정책

RAG 애플리케이션을 구축하는 회사의 경우 데이터를 안전하게 유지하고 네트워크 트래픽이 공용 인터넷으로 이동하지 않는 것이 중요합니다. 이를 지원하기 위해 Amazon Bedrock의 기술 자료는 이제 다음에 대한 개인 네트워크 정책을 지원합니다. Amazon OpenSearch 서버리스.

Amazon Bedrock에 대한 기술 자료는 OpenSearch Serverless를 벡터 저장소로 사용하기 위한 옵션을 제공합니다. 이제 개인 네트워크 정책이 있는 OpenSearch Serverless 컬렉션에 액세스할 수 있어 RAG 애플리케이션의 보안 상태가 더욱 강화됩니다. 이를 달성하려면 OpenSearch 서버리스 컬렉션을 생성하고 개인 네트워크 액세스를 위해 구성해야 합니다. 먼저, 임베딩을 저장할 컬렉션 내에 벡터 인덱스를 만듭니다. 그런 다음 컬렉션을 생성하는 동안 네트워크 액세스 설정 에 프라이빗 투어 액세스를 위한 VPC 엔드포인트를 지정합니다. 중요한 점은 이제 다음을 제공할 수 있다는 것입니다. OpenSearch Serverless에 대한 개인 네트워크 액세스 Amazon Bedrock 전용 컬렉션입니다. 이렇게 하려면 다음을 선택하세요. AWS 서비스 비공개 액세스 지정 bedrock.amazonaws.com 서비스로.

이 프라이빗 네트워크 구성을 사용하면 임베딩이 안전하게 저장되고 Amazon Bedrock에서만 액세스할 수 있으므로 지식 기반의 전반적인 보안과 개인 정보 보호가 강화됩니다. 이는 다음과 밀접하게 일치합니다. 보안 기둥 이러한 설정을 사용하면 모든 네트워크 트래픽이 AWS 백본 내에 유지되기 때문에 모든 계층에서 트래픽을 제어할 수 있습니다.

지금까지 우리는 벡터 임베딩을 안전하게 저장하기 위한 OpenSearch Serverless의 프라이빗 네트워크 정책을 통해 지식 기반 리소스 생성, 삭제, 업데이트의 자동화와 향상된 보안을 살펴보았습니다. 이제 보다 안정적이고 포괄적이며 비용 최적화된 RAG 애플리케이션을 구축하는 방법을 살펴보겠습니다.

데이터 소스로 사용되는 여러 S3 버킷

Amazon Bedrock용 기술 자료는 이제 교차 계정 액세스를 포함하여 단일 기술 자료 내에서 여러 S3 버킷을 데이터 소스로 추가하는 것을 지원합니다. 이 향상된 기능은 사용자가 다양한 소스의 정보를 원활하게 집계하고 사용할 수 있도록 하여 지식 기반의 포괄성과 정확성을 높입니다.

주요 기능은 다음과 같습니다.

  • 여러 S3 버킷 – Amazon Bedrock의 지식 베이스는 이제 여러 S3 버킷의 데이터를 통합할 수 있으므로 사용자는 다양한 소스의 정보를 쉽게 결합하고 사용할 수 있습니다. 이 기능은 데이터 다양성을 촉진하고 RAG 기반 애플리케이션에서 관련 정보를 쉽게 사용할 수 있도록 합니다.
  • 교차 계정 데이터 액세스 – Amazon Bedrock에 대한 기술 자료는 S3 버킷을 여러 계정의 데이터 소스로 구성하는 것을 지원합니다. 이러한 데이터 소스에 액세스하는 데 필요한 자격 증명을 제공하여 지식 기반에 통합할 수 있는 정보의 범위를 확장할 수 있습니다.
  • 효율적인 데이터 관리 – 지식창고에서 데이터 소스를 설정할 때 데이터 소스가 삭제된 경우 해당 데이터 소스에 속한 데이터를 유지할지 아니면 삭제할지 여부를 지정할 수 있습니다. 이 기능을 사용하면 지식 기반이 최신 상태로 유지되고 오래되거나 관련 없는 데이터가 없어 RAG 프로세스의 무결성과 정확성이 유지됩니다.

여러 S3 버킷을 데이터 소스로 지원함으로써 여러 지식 기반이나 중복 데이터 복사본을 생성할 필요성이 제거되어 비용을 최적화하고 클라우드 재무 관리를 촉진합니다. 또한 교차 계정 액세스 기능을 통해 AWS Well-Architected 프레임워크의 안정성 원칙에 맞춰 탄력적인 아키텍처를 개발하고 고가용성과 내결함성을 제공할 수 있습니다.

최근에 발표된 기술 자료의 기타 기능

RAG 애플리케이션의 안정성을 더욱 향상시키기 위해 Amazon Bedrock에 대한 기술 자료는 이제 다음에 대한 지원을 확장합니다. 서비스 할당량. 이 기능은 적용된 AWS 할당량 값과 사용량을 볼 수 있는 단일 창을 제공합니다. 예를 들어, 이제 허용되는 ` 수와 같은 정보에 빠르게 액세스할 수 있습니다.RetrieveAndGenerate 초당 API 요청입니다.

이 기능을 사용하면 리소스 할당량을 효과적으로 관리하고, 과잉 프로비저닝을 방지하고, API 요청 비율을 제한하여 잠재적인 남용으로부터 서비스를 보호할 수 있습니다.

다음과 같이 최근에 발표된 기능을 사용하여 애플리케이션의 성능을 향상할 수도 있습니다. 하이브리드 검색, 메타데이터 기반 필터링, RetreiveAndGenerate API에 대한 사용자 정의 프롬프트 및 최대 검색 수. 이러한 기능은 생성된 응답의 정확성, 관련성 및 일관성을 종합적으로 개선하고 AWS Well-Architected 프레임워크의 성능 효율성 원칙과 일치합니다.

Amazon Bedrock에 대한 기술 자료는 관리형 서비스를 사용하고 리소스 활용도를 최적화하여 AWS Well-Architected Framework의 지속 가능성 원칙에 부합합니다. 완전 관리형 서비스인 Amazon Bedrock용 Knowledge Bases는 기본 인프라를 프로비저닝, 관리 및 확장하는 부담을 제거하여 이러한 리소스의 운영 및 유지 관리와 관련된 환경 영향을 줄입니다.

또한 조직은 AWS Well-Architected 원칙에 따라 RAG 애플리케이션을 지속 가능한 방식으로 설계하고 운영할 수 있습니다. AWS CloudFormation을 통한 배포 자동화, 안전한 데이터 액세스를 위한 프라이빗 네트워크 정책 구현, OpenSearch Serverless와 같은 효율적인 서비스 사용과 같은 관행은 이러한 워크로드가 환경에 미치는 영향을 최소화하는 데 도움이 됩니다.

전반적으로, AWS Well-Architected 프레임워크와 결합된 Amazon Bedrock용 지식 베이스는 조직이 확장 가능하고 안전하며 안정적인 RAG 애플리케이션을 구축하는 동시에 효율적인 리소스 활용 및 관리형 서비스 채택을 통해 환경 지속 가능성을 우선시할 수 있도록 지원합니다.

결론

AWS CloudFormation 지원, 프라이빗 네트워크 정책, 여러 S3 버킷을 데이터 소스로 사용하는 기능, 서비스 할당량 지원과 같은 새로운 엔터프라이즈급 기능을 사용하면 지식 베이스를 통해 확장 가능하고 안전하며 안정적인 RAG 애플리케이션을 쉽게 구축할 수 있습니다. 아마존 베드락의 경우. AWS 관리형 서비스를 사용하고 Well-Architected 모범 사례를 따르면 조직은 운영 우수성, 강력한 보안 및 효율적인 리소스 활용을 제공하는 동시에 혁신적인 생성 AI 솔루션을 제공하는 데 집중할 수 있습니다. AWS에서 애플리케이션을 구축할 때 RAG 애플리케이션을 AWS Well-Architected 프레임워크에 맞추면 업계 표준을 준수하면서 비즈니스 가치를 창출하는 엔터프라이즈급 솔루션을 구축하기 위한 견고한 기반이 제공됩니다.

추가 리소스는 다음을 참조하세요.

저자 소개

마니 카누 자 기술 리더이자 생성적 AI 전문가이며, Applied Machine Learning and High Performance Computing on AWS라는 책의 저자이자 여성 제조업 교육 재단 이사회의 이사입니다. 그녀는 컴퓨터 비전, 자연어 처리, 생성 AI 등 다양한 분야의 머신러닝 프로젝트를 이끌고 있습니다. 그녀는 AWS re:Invent, Women in Manufacturing West, YouTube 웹 세미나, GHC 23 등의 내부 및 외부 컨퍼런스에서 연설합니다. 여가 시간에는 해변을 따라 장거리 달리기를 즐깁니다.

니틴 유세비우스 소프트웨어 엔지니어링, 엔터프라이즈 아키텍처 및 AI/ML 분야의 경험이 있는 AWS의 수석 엔터프라이즈 솔루션 아키텍트입니다. 그는 생성 AI의 가능성을 탐구하는 데 깊은 열정을 갖고 있습니다. 그는 고객과 협력하여 고객이 AWS 플랫폼에서 잘 설계된 애플리케이션을 구축할 수 있도록 지원하고 기술 문제를 해결하고 클라우드 여정을 지원하는 데 전념하고 있습니다.

팔라비 나군드 AWS의 수석 솔루션 아키텍트입니다. 클라우드 기술 조력자로서 그녀는 고객과 협력하여 고객의 목표와 과제를 이해하고 AWS 제품을 통해 목표를 달성하기 위한 규범적 지침을 제공합니다. 그녀는 기술 분야의 여성에 대한 열정을 갖고 있으며 Amazon의 Women in AI/ML의 핵심 멤버입니다. 그녀는 AWS re:Invent, AWS Summit, 웹 세미나 등 내부 및 외부 컨퍼런스에서 연설합니다. 업무 외에 그녀는 자원봉사, 정원 가꾸기, 자전거 타기, 하이킹을 즐깁니다.

spot_img

최신 인텔리전스

spot_img

저작권 @ 2024 Plato Technologies Inc.

우리와 함께 채팅

안녕하세요! 어떻게 도와 드릴까요?