この投稿では、社内文書を検索する際に顧客が直面する最も一般的な課題について説明し、AWS のサービスを使用して内部情報をより有用にする生成 AI 会話ボットを作成する方法についての具体的なガイダンスを提供します。
非構造化データが全データの 80% を占める 組織内に存在し、マニュアル、PDF、FAQ、電子メール、および日々増加するその他のドキュメントのリポジトリで構成されています。 今日の企業は、増大し続ける内部情報のリポジトリに依存しており、非構造化データの量が管理不能になると問題が発生します。 多くの場合、ユーザーは必要な答えを見つけるために、さまざまな内部ソースを読んだりチェックしたりすることがあります。
内部の質問と回答のフォーラムは、ユーザーが非常に具体的な回答を得るのに役立ちますが、待ち時間が長くなります。 企業固有の社内 FAQ の場合、待ち時間が長いと従業員の生産性が低下します。 質問と回答のフォーラムは手動で書かれた回答に依存しているため、規模を拡大することが困難です。 現在、生成 AI により、ユーザーが情報を検索および見つける方法にパラダイム シフトが起きています。 次の論理的なステップは、生成 AI を使用して、ユーザーが利用しやすいように大きなドキュメントを小さな一口サイズの情報に凝縮することです。 ユーザーはテキストを読んだり答えを待ったりするのに長い時間を費やす代わりに、複数の既存の内部情報リポジトリに基づいて概要をリアルタイムで生成できます。
ソリューションの概要
このソリューションを使用すると、顧客はトランスフォーマー モデルを使用して、トレーニングされていないデータに関する質問に対する回答を生成する (ゼロショット プロンプティングとして知られる手法) ことにより、内部文書に関する質問に対する厳選された回答を取得できます。 このソリューションを採用することで、お客様は次のメリットを得ることができます。
- 内部文書の既存のソースに基づいて質問に対する正確な回答を見つける
- 大規模言語モデル (LLM) を使用して、最新の情報を含むドキュメントを使用して複雑なクエリに対してほぼ即時に回答を提供することで、ユーザーが回答の検索に費やす時間を短縮します。
- 一元化されたダッシュボードを通じて以前に回答された質問を検索します
- 答えを探すために手動で情報を読むことに時間を費やすことで生じるストレスを軽減します。
検索拡張生成 (RAG)
検索拡張生成 (RAG) は、ナレッジ ベースから回答を見つけ、LLM を使用してドキュメントを簡潔な回答に要約することで、LLM ベースのクエリの欠点の一部を軽減します。 これを読んで下さい 役職 RAG アプローチを実装する方法を学習するには アマゾンケンドラ。 Amazon Kendra を使用した RAG アプローチで対処する LLM ベースのクエリには、次のリスクと制限が関連しています。
- 幻覚とトレーサビリティ – LLMS は大規模なデータセットでトレーニングされ、確率に基づいて応答を生成します。 これは、幻覚として知られる不正確な答えにつながる可能性があります。
- 複数のデータ サイロ – 応答内で複数のソースからのデータを参照するには、データを集約するコネクタ エコシステムをセットアップする必要があります。 複数のリポジトリへのアクセスは手動で行われ、時間がかかります。
- セキュリティ – RAG と LLM を利用した会話型ボットを導入する場合、セキュリティとプライバシーは重要な考慮事項です。 使っているにも関わらず Amazon Comprehend ユーザーのクエリを通じて提供される可能性のある個人データをフィルターで除外するため、取り込まれたデータによっては、個人情報や機密情報が意図せず表面化する可能性が残ります。 つまり、チャットボットへのアクセスを制御することは、機密情報への意図しないアクセスを防ぐために重要です。
- データの関連性 – LLMS は特定の日付までのデータに基づいてトレーニングされます。これは、情報が最新ではないことが多いことを意味します。 最近のデータに基づくモデルのトレーニングに関連するコストは高くなります。 正確かつ最新の対応を保証するために、組織はインデックス付きドキュメントの内容を定期的に更新し充実させる責任を負います。
- コスト – このソリューションの導入に関連するコストは、企業にとって考慮すべき事項です。 企業は、このソリューションを導入する際に、予算とパフォーマンスの要件を慎重に評価する必要があります。 LLM の実行には大量の計算リソースが必要となり、運用コストが増加する可能性があります。 これらのコストは、大規模な運用が必要なアプリケーションにとって制限となる可能性があります。 ただし、その利点の XNUMX つは、 AWSクラウド 使用した分だけ支払うという柔軟性です。 AWS は、シンプルで一貫した従量課金制の料金モデルを提供しているため、消費したリソースに対してのみ料金が請求されます。
Amazon SageMaker JumpStart の使用法
トランスフォーマーベースの言語モデルの場合、組織は次の利点を活用できます。 アマゾンセージメーカー JumpStart は、事前に構築された機械学習モデルのコレクションを提供します。 Amazon SageMaker JumpStart は、簡単にデプロイして利用できる幅広いテキスト生成および質問応答 (Q&A) の基本モデルを提供します。 このソリューションは FLAN T5-XL Amazon SageMaker JumpStart モデルを統合しますが、使用する際にはさまざまな点に留意する必要があります。 基礎モデルの選択.
ワークフローにセキュリティを統合する
のセキュリティの柱のベスト プラクティスに従っています。 適切に設計されたフレームワーク, アマゾンコグニート 認証に使用されます。 Amazon Cognito ユーザープールは、Open Authorization (OAuth)、OpenID Connect (OIDC)、または Security Assertion Markup Language (SAML) など、アクセス制御に使用されるいくつかのフレームワークをサポートするサードパーティの ID プロバイダーと統合できます。 ユーザーとそのアクションを識別することで、ソリューションはトレーサビリティを維持できます。 このソリューションでは、 Amazon Comprehend の個人識別情報 (PII) の検出 PII を自動的に識別して編集する機能。 編集された PII には、住所、社会保障番号、電子メール アドレス、その他の機密情報が含まれます。 この設計により、入力クエリを通じてユーザーが提供した PII は確実に編集されます。 PII は、Amazon Kendra によって保存されたり、使用されたり、LLM に供給されたりすることはありません。
ソリューションウォークスルー
次の手順では、文書フローに対する質問応答のワークフローについて説明します。
- ユーザーは Web インターフェイスを通じてクエリを送信します。
- アマゾンコグニート 認証に使用され、Web アプリケーションへの安全なアクセスが保証されます。
- Web アプリケーションのフロントエンドは次の場所でホストされます。 AWS 増幅.
- アマゾンAPIゲートウェイ は、Amazon Cognito を使用して認証されるユーザーリクエストを処理するためのさまざまなエンドポイントを備えた REST API をホストします。
- PII 編集 Amazon Comprehend:
- ユーザークエリ処理: ユーザーがクエリまたは入力を送信すると、最初に Amazon Comprehend を通過します。 このサービスはテキストを分析し、クエリ内に存在する PII エンティティを特定します。
- PII 抽出: Amazon Comprehend は、ユーザーのクエリから検出された PII エンティティを抽出します。
- 関連情報の検索 アマゾンケンドラ:
- Amazon Kendra は、ユーザーのクエリに対する回答を生成するために使用される情報を含むドキュメントのインデックスを管理するために使用されます。
- LangChain QA の検索 モジュールは、ユーザーのクエリに関する関連情報を含む会話チェーンを構築するために使用されます。
- との統合 Amazon SageMaker ジャンプスタート:
- AWS Lambda 関数は LangChain ライブラリを使用し、コンテキストを詰め込んだクエリで Amazon SageMaker JumpStart エンドポイントに接続します。 Amazon SageMaker JumpStart エンドポイントは、推論に使用される LLM のインターフェイスとして機能します。
- 応答を保存してユーザーに返す:
- LLM からの応答は次の場所に保存されます。 Amazon DynamoDB これには、ユーザーのクエリ、タイムスタンプ、一意の識別子、および質問カテゴリなどのアイテムのその他の任意の識別子が含まれます。 質問と回答を個別のアイテムとして保存すると、AWS Lambda 関数で質問が行われた時刻に基づいてユーザーの会話履歴を簡単に再作成できます。
- 最後に、応答は、Amazon API Gateway REST API 統合応答を通じて HTTPS リクエストを介してユーザーに返されます。
次の手順では、AWS Lambda 関数とそのプロセスのフローについて説明します。
- PII / 機密情報を確認して編集します
- LangChain QA 検索チェーン
- 関連情報を検索して取得する
- コンテキストスタッフィングとプロンプトエンジニアリング
- LLM による推論
- 応答を返して保存します
ユースケース
顧客がこのワークフローを使用できるビジネス ユース ケースは数多くあります。 次のセクションでは、ワークフローがさまざまな業界や業種でどのように使用できるかについて説明します。
従業員支援
企業研修を適切に設計すると、従業員の満足度が向上し、新入社員の研修に必要な時間が短縮されます。 組織が成長し、複雑さが増すにつれて、従業員は内部文書の多くのソースを理解することが難しくなります。 この場合の内部文書には、会社のガイドライン、ポリシー、標準運用手順が含まれます。 このシナリオでは、従業員が社内発行チケットの処理と編集の方法について質問しています。 従業員は、生成人工知能 (AI) 会話型ボットにアクセスして使用し、特定のチケットに対する次のステップを尋ねて実行できます。
具体的な使用例: 企業ガイドラインに基づいて従業員の問題解決を自動化します。
次の手順では、AWS Lambda 関数とそのプロセスのフローについて説明します。
- LangChain エージェントが意図を特定する
- 従業員のリクエストに基づいて通知を送信する
- チケットのステータスを変更する
このアーキテクチャ図では、企業トレーニング ビデオを次の方法で取り込むことができます。 Amazon Transcribe これらのビデオ スクリプトのログを収集します。 さらに、さまざまなソース (Confluence、Microsoft SharePoint、Google Drive、Jira など) に保存されている企業トレーニング コンテンツを使用して、Amazon Kendra コネクタを通じてインデックスを作成できます。 ネイティブ コレクションの詳細については、この記事をお読みください。 コネクタ Amazon Kendra をソースポイントとして利用できます。 Amazon Kendra クローラーは、これらの他のソースに保存されている企業トレーニング ビデオ スクリプトとドキュメントの両方を使用して、会話型ボットが企業の企業トレーニング ガイドラインに固有の質問に答えるのを支援できます。 LangChain エージェントは、権限を確認し、チケットのステータスを変更し、Amazon Simple Notice Service を使用して適切な個人に通知します (アマゾンSNS).
カスタマーサポートチーム
顧客の質問を迅速に解決することで、顧客エクスペリエンスが向上し、ブランドロイヤルティが促進されます。 忠実な顧客ベースは売上の促進に役立ち、収益に貢献し、顧客エンゲージメントを高めます。 カスタマー サポート チームは、製品やサービスに関する顧客の質問に答えるために、多くの社内文書や顧客関係管理ソフトウェアを参照することに多大な労力を費やしています。 このコンテキストにおける内部文書には、一般的なカスタマー サポート コール スクリプト、プレイブック、エスカレーション ガイドライン、ビジネス情報が含まれる場合があります。 生成 AI 会話ボットは、カスタマー サポート チームに代わってクエリを処理するため、コストの最適化に役立ちます。
具体的な使用例: サービス履歴と購入した顧客サービスプランに基づいてオイル交換リクエストを処理します。
このアーキテクチャ図では、顧客は生成 AI 会話ボットまたは アマゾンコネクト コンタクトセンター。 この決定は、必要なサポートのレベル、またはカスタマー サポート エージェントの可用性に基づいて行うことができます。 LangChain エージェントは顧客の意図を特定し、本人確認を行います。 LangChain エージェントは、サービス履歴と購入したサポート プランも確認します。
次の手順では、AWS Lambda 関数とそのプロセスのフローについて説明します。
- LangChain エージェントが意図を特定する
- 顧客情報の取得
- カスタマーサービス履歴と保証情報を確認する
- 予約をする、詳細情報を提供する、またはコンタクト センターへのルートを指定する
- 確認メールを送信する
Amazon Connect は音声およびチャットのログを収集するために使用され、Amazon Comprehend はこれらのログから個人を特定できる情報 (PII) を削除するために使用されます。 その後、Amazon Kendra クローラーは、編集された音声およびチャットのログ、顧客通話スクリプト、および顧客サービス サポート プランのポリシーを使用してインデックスを作成できるようになります。 決定が下されると、生成型 AI 会話ボットが、予約をするか、詳細情報を提供するか、さらなる支援のために顧客をコンタクト センターに誘導するかを決定します。 コストを最適化するために、LangChain エージェントは、優先度の低い顧客のクエリに対して、より少ないトークンと安価な大規模言語モデルを使用して回答を生成することもできます。
金融サービス
金融サービス企業は、競争力を維持し、金融規制を遵守するために情報をタイムリーに利用することに依存しています。 生成型 AI 会話ボットを使用すると、金融アナリストやアドバイザーは会話形式でテキスト情報を操作し、情報に基づいてより適切な意思決定を行うのにかかる時間と労力を削減できます。 投資や市場調査以外にも、生成型 AI 会話ボットは、従来は人間の労力と時間がより多く必要だったタスクを処理することで、人間の能力を強化することもできます。 たとえば、個人ローンを専門とする金融機関は、顧客に対する透明性を向上させながら、ローンの処理速度を向上させることができます。
具体的な使用例: 顧客の財務履歴と以前のローン申請を使用して、ローンの決定を決定し、説明します。
次の手順では、AWS Lambda 関数とそのプロセスのフローについて説明します。
- LangChain エージェントが意図を特定する
- 顧客の財務および信用スコアの履歴を確認する
- 社内の顧客関係管理システムを確認する
- 標準的なローンポリシーを確認し、ローンの対象となる従業員の決定を提案します。
- 顧客に通知を送信する
このアーキテクチャには、データベースに保存されている顧客の財務データと顧客関係管理 (CRM) ツールに保存されているデータが組み込まれています。 これらのデータ ポイントは、企業の内部融資ポリシーに基づいた決定を通知するために使用されます。 顧客は、どのようなローンの資格があるのか、受け入れ可能なローンの条件を理解するために明確な質問をすることができます。 生成 AI 会話ボットがローン申請を承認できない場合でも、ユーザーは信用スコアの改善や代替融資オプションについて質問することができます。
政府・公共機関
生成 AI 会話ボットは、コミュニケーション、効率、意思決定プロセスを高速化することで、政府機関に大きな利益をもたらします。 生成型 AI 会話ボットは、内部ナレッジ ベースへの即時アクセスも提供し、政府職員が情報、政策、手順 (資格基準、申請プロセス、国民のサービスとサポートなど) を迅速に取得できるようにすることもできます。 解決策の XNUMX つは、納税者や税務専門家が税金関連の詳細や特典を簡単に見つけられる対話型システムです。 ユーザーの質問を理解し、税務書類を要約し、対話型の会話を通じて明確な回答を提供するために使用できます。
ユーザーは次のような質問をすることができます。
- 相続税はどのような仕組みになっており、課税限度額はいくらですか?
- 所得税の概念について説明してもらえますか？
- XNUMX番目の不動産を売却する場合、税金はどのような影響がありますか?
さらに、ユーザーは納税フォームをシステムに送信できるので、提供された情報の正確性を確認するのに役立ちます。
このアーキテクチャは、ユーザーが完成した納税フォームをソリューションにアップロードし、必要な情報を正確に入力する方法に関するインタラクティブな検証とガイダンスにそれを利用する方法を示しています。
ヘルスケア
ヘルスケア企業には、大量の内部患者情報の使用を自動化すると同時に、治療の選択肢、保険金請求、臨床試験、製薬研究などのユースケースに関する一般的な質問に対処する機会があります。 生成型 AI 会話ボットを使用すると、提供されたナレッジ ベースから健康情報に関する回答を迅速かつ正確に生成できます。 たとえば、医療専門家の中には、保険請求を提出するためのフォームへの記入に多くの時間を費やしている人もいます。
同様の状況では、臨床試験管理者や研究者は治療の選択肢に関する情報を見つける必要があります。 生成 AI 会話ボットは、Amazon Kendra の事前構築コネクタを使用して、製薬会社や大学が実施している進行中の研究を通じて公開された何百万もの文書から最も関連性の高い情報を取得できます。
具体的な使用例: 保険フォームの記入と送信に必要なエラーと時間を削減します。
このアーキテクチャ図では、医療専門家は生成 AI 会話ボットを使用して、保険にどのフォームに記入する必要があるかを把握できます。 その後、LangChain エージェントは、適切なフォームを取得して患者に必要な情報を追加できるほか、保険契約書や以前のフォームに基づいてフォームの説明部分に応答することができます。 医療専門家は、フォームを承認して保険ポータルに配信する前に、LLM からの回答を編集できます。
次の手順では、AWS Lambda 関数とそのプロセスのフローについて説明します。
- LangChain エージェントが意図を特定する
- 必要な患者情報を取得する
- 患者情報とフォームガイドラインに基づいて保険フォームを記入します
- ユーザーの承認後にフォームを保険ポータルに送信します
AWS ヘルスレイク は、以前の保険フォームや患者情報を含む健康データを安全に保存するために使用され、Amazon Comprehend は、以前の保険フォームから個人を特定できる情報 (PII) を削除するために使用されます。 その後、Amazon Kendra クローラーは、一連の保険フォームとガイドラインを使用してインデックスを作成できるようになります。 生成 AI によってフォームが入力されると、医療専門家によって確認されたフォームが保険ポータルに送信されます。
原価見積
概念実証として基本ソリューションを導入するコストを次の表に示します。 基本ソリューションは概念実証とみなされ、ワークロードが実稼働環境にないため、Amazon Kendra Developer Edition が低コストのオプションとして使用されました。 Amazon Kendra Developer Edition の想定は、730 か月のアクティブ時間 XNUMX 時間でした。
Amazon SageMaker の場合、顧客がリアルタイム推論に ml.g4dn.2xlarge インスタンスを使用し、インスタンスごとに XNUMX つの推論エンドポイントを使用することを想定しました。 Amazon SageMaker の料金設定と利用可能な推論インスタンス タイプの詳細については、こちらをご覧ください。 こちら.
| カスタマーサービス | 消費されるリソース | XNUMX か月あたりの費用の見積もり (USD) |
| AWS 増幅 | ビルド時間 150 分 1 GB のデータを提供 500,000件のリクエスト |
15.71 |
| アマゾンAPIゲートウェイ | 1万回のREST APIコール | 3.5 |
| AWSラムダ | 1万件のリクエスト リクエストごとに 5 秒間の継続時間 2 GBのメモリが割り当てられています |
160.23 |
| Amazon DynamoDB | 1万回の読み取り 1万回の書き込み 100 GBストレージ |
26.38 |
| アマゾンセージメーカー | ml.g4dn.2xlarge によるリアルタイム推論 | 676.8 |
| アマゾンケンドラ | Developer Edition (730 時間/月) 10,000 件のドキュメントをスキャン 5,000 クエリ/日 |
821.25 |
| . | . | 総コスト: 1703.87 |
* Amazon Cognito には、Cognito ユーザー プールを使用する月間アクティブ ユーザー 50,000 人、または SAML 50 ID プロバイダーを使用する月間アクティブ ユーザー 2.0 人の無料利用枠があります。
クリーンアップ
コストを節約するには、チュートリアルの一環としてデプロイしたすべてのリソースを削除します。 SageMaker コンソールを介して作成した SageMaker エンドポイントは削除できます。 Amazon Kendra インデックスを削除しても、元のドキュメントはストレージから削除されないことに注意してください。
まとめ
この投稿では、複数のリポジトリからリアルタイムで要約することで、内部情報へのアクセスを簡素化する方法を説明しました。 最近の商用 LLM の開発により、生成 AI の可能性がより明らかになりました。 この投稿では、AWS のサービスを使用して、生成 AI を使用して質問に答えるサーバーレス チャットボットを作成する方法を紹介しました。 このアプローチには、認証レイヤーと Amazon Comprehend の PII 検出が組み込まれており、ユーザーのクエリで提供される機密情報をフィルターで除外します。 保険請求の手続きの微妙な違いを理解している医療関係者であっても、全社的な特定の規制を理解している人事担当者であっても、このアプローチから恩恵を受けることができる業界や業種は複数あります。 Amazon SageMaker JumpStart 基盤モデルはチャットボットの背後にあるエンジンであり、応答が内部ドキュメントをより正確に参照することを保証するために、RAG 技術を使用したコンテキスト スタッフィングのアプローチが使用されています。
AWS での生成 AI の操作の詳細については、以下を参照してください。 AWS でジェネレーティブ AI を使用して構築するための新しいツールを発表。 AWS サービスでの RAG テクニックの使用に関する詳細なガイダンスについては、以下を参照してください。 Amazon Kendra、LangChain、および大規模な言語モデルを使用して、エンタープライズ データ上に高精度のジェネレーティブ AI アプリケーションを迅速に構築します。 このブログのアプローチは LLM に依存しないため、任意の LLM を推論に使用できます。 次回の投稿では、Amazon Bedrock と Amazon Titan LLM を使用してこのソリューションを実装する方法の概要を説明します。
著者について
アビシェーク・マリゲハリ・シヴァリンガイア AWS のシニア AI サービス ソリューション アーキテクトです。 彼は、Generative AI、Amazon Kendra、NLP を使用したアプリケーションの構築に情熱を注いでいます。 彼は、顧客と企業に価値を生み出すデータおよび AI ソリューションの構築に約 10 年の経験があります。 彼は、自分のキャリアや職業上の歩みに関する質問に答えるための (個人用) チャットボットを楽しみながら構築しました。 仕事以外では、家族や友人のポートレートを作ることを楽しんでおり、アートワークを作成することが大好きです。
メダ・アイヤ テキサス州オースティンを拠点とする AWS のアソシエイト ソリューション アーキテクトです。 彼女は最近、AI/ML に重点を置いたインテリジェント システムを専門とし、コンピュータ サイエンスの理学修士号を取得して、2022 年 XNUMX 月にテキサス大学ダラス校を卒業しました。 彼女は、AI/ML と AWS のサービスを利用して、顧客がメリットを享受できるソリューションを発見することについて詳しく知りたいと考えています。
ヒューゴ・ツェー ワシントン州シアトルに拠点を置く AWS のアソシエイト ソリューション アーキテクトです。 アリゾナ州立大学で情報技術の修士号を取得し、シカゴ大学で経済学の学士号を取得しています。 彼は、情報システム監査制御協会 (ISACA) および国際情報システム セキュリティ認証コンソーシアム (ISC)2 のメンバーです。 彼は顧客がテクノロジーから利益を得られるよう支援することに喜びを感じています。
アイマン・イシムウェ ワシントン州シアトルに拠点を置く AWS のアソシエイト ソリューション アーキテクトです。 彼はオークランド大学でソフトウェア エンジニアリングと IT の修士号を取得しています。 以前はソフトウェア開発、特に分散 Web アプリケーション用のマイクロサービスの構築に経験がありました。 彼は、顧客がベストプラクティスに従って AWS クラウド サービス上に堅牢でスケーラブルなソリューションを構築できるよう支援することに情熱を注いでいます。
シャービン・スレシュ テキサス州オースティンを拠点とする AWS のアソシエイト ソリューション アーキテクトです。 彼は、サンノゼ州立大学でクラウド コンピューティングと仮想化を中心にソフトウェア エンジニアリングの修士号を取得し、コンピュータ エンジニアリングの学士号を取得して卒業しました。 彼はテクノロジーを活用して、あらゆる背景を持つ人々の生活を向上させることに情熱を注いでいます。
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 自動車/EV、 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- チャートプライム。 ChartPrime でトレーディング ゲームをレベルアップしましょう。 こちらからアクセスしてください。
- ブロックオフセット。 環境オフセット所有権の近代化。 こちらからアクセスしてください。
- 情報源： https://aws.amazon.com/blogs/machine-learning/simplify-access-to-internal-information-using-retrieval-augmented-generation-and-langchain-agents/
