Kecerdasan Data Generatif

AI

Otomatiskan siklus hidup klaim asuransi menggunakan Agen dan Basis Pengetahuan untuk Amazon Bedrock | Layanan Web Amazon

Diterbitkan ulang oleh Plato
Diterbitkan ulang oleh Plato

Tanggal:

views: 0

AI generatif agen adalah alat serbaguna dan ampuh untuk perusahaan besar. Mereka dapat meningkatkan efisiensi operasional, layanan pelanggan, dan pengambilan keputusan sekaligus mengurangi biaya dan memungkinkan inovasi. Agen-agen ini unggul dalam mengotomatisasi berbagai tugas rutin dan berulang, seperti entri data, pertanyaan dukungan pelanggan, dan pembuatan konten. Selain itu, mereka dapat mengatur alur kerja yang kompleks dan multi-langkah dengan memecah tugas menjadi langkah-langkah yang lebih kecil dan dapat dikelola, mengoordinasikan berbagai tindakan, dan memastikan pelaksanaan proses yang efisien dalam suatu organisasi. Hal ini secara signifikan mengurangi beban sumber daya manusia dan memungkinkan karyawan untuk fokus pada tugas-tugas yang lebih strategis dan kreatif.

Seiring dengan terus berkembangnya teknologi AI, kemampuan agen AI generatif diperkirakan akan semakin meningkat, sehingga menawarkan lebih banyak peluang bagi pelanggan untuk mendapatkan keunggulan kompetitif. Di garis depan evolusi ini adalah Batuan Dasar Amazon, layanan terkelola sepenuhnya yang membuat model fondasi (FM) berperforma tinggi dari Amazon dan perusahaan AI terkemuka lainnya tersedia melalui API. Dengan Amazon Bedrock, Anda dapat membangun dan menskalakan aplikasi AI generatif dengan keamanan, privasi, dan AI yang bertanggung jawab. Anda sekarang dapat menggunakan Agen untuk Amazon Bedrock dan Basis Pengetahuan untuk Batuan Dasar Amazon untuk mengonfigurasi agen khusus yang menjalankan tindakan dengan lancar berdasarkan masukan bahasa alami dan data organisasi Anda. Agen terkelola ini berperan sebagai konduktor, mengatur interaksi antara FM, integrasi API, percakapan pengguna, dan sumber pengetahuan yang dimuat dengan data Anda.

Posting ini menyoroti bagaimana Anda dapat menggunakan Agen dan Basis Pengetahuan untuk Amazon Bedrock untuk membangun sumber daya perusahaan yang ada guna mengotomatiskan tugas-tugas yang terkait dengan siklus hidup klaim asuransi, menskalakan dan meningkatkan layanan pelanggan secara efisien, dan meningkatkan dukungan keputusan melalui peningkatan manajemen pengetahuan. Agen asuransi Anda yang didukung Amazon Bedrock dapat membantu agen manusia dengan membuat klaim baru, mengirimkan pengingat dokumen yang tertunda untuk klaim terbuka, mengumpulkan bukti klaim, dan mencari informasi di seluruh klaim yang ada dan repositori pengetahuan pelanggan.

Ikhtisar solusi

Tujuan dari solusi ini adalah untuk bertindak sebagai landasan bagi pelanggan, memberdayakan Anda untuk membuat agen khusus Anda sendiri untuk berbagai kebutuhan seperti asisten virtual dan tugas otomatisasi. Kode dan sumber daya yang diperlukan untuk penerapan tersedia di repositori amazon-batuan dasar-contoh.

Rekaman demo berikut menyoroti Agen dan Basis Pengetahuan untuk fungsionalitas Amazon Bedrock dan detail implementasi teknis.

Agen dan Basis Pengetahuan untuk Amazon Bedrock bekerja sama untuk menyediakan kemampuan berikut:

  • Orkestrasi tugas – Agen menggunakan FM untuk memahami pertanyaan bahasa alami dan membedah tugas multi-langkah menjadi langkah-langkah yang lebih kecil dan dapat dilaksanakan.
  • Pengumpulan data interaktif – Agen terlibat dalam percakapan alami untuk mengumpulkan informasi tambahan dari pengguna.
  • Pemenuhan tugas – Agen menyelesaikan permintaan pelanggan melalui serangkaian langkah penalaran dan tindakan terkait berdasarkan Perintah Bereaksi.
  • Integrasi sistem – Agen melakukan panggilan API ke sistem perusahaan terintegrasi untuk menjalankan tindakan tertentu.
  • Kueri data – Basis pengetahuan meningkatkan akurasi dan kinerja melalui pengelolaan penuh Pengambilan Augmented Generation (RAG) menggunakan sumber data khusus pelanggan.
  • Atribusi sumber – Agen melakukan atribusi sumber, mengidentifikasi dan menelusuri asal informasi atau tindakan melalui penalaran rantai pemikiran.

Diagram berikut menggambarkan arsitektur solusi.

Ikhtisar agen

Alur kerja terdiri dari langkah-langkah berikut:

  1. Pengguna memberikan masukan bahasa alami kepada agen. Berikut ini adalah beberapa contoh petunjuknya:
    1. Buat klaim baru.
    2. Kirimkan pengingat dokumen tertunda kepada pemegang polis klaim 2s34w-8x.
    3. Kumpulkan bukti untuk klaim 5t16u-7v.
    4. Berapa total nilai klaim untuk klaim 3b45c-9d?
    5. Berapa total perkiraan perbaikan untuk klaim yang sama?
    6. Faktor apa saja yang menentukan premi asuransi mobil saya?
    7. Bagaimana saya bisa menurunkan tarif asuransi mobil saya?
    8. Klaim manakah yang berstatus terbuka?
    9. Kirimkan pengingat kepada seluruh pemegang polis dengan klaim terbuka.
  2. Selama prapemrosesan, agen memvalidasi, mengontekstualisasikan, dan mengkategorikan masukan pengguna. Masukan pengguna (atau tugas) ditafsirkan oleh agen menggunakan riwayat obrolan dan instruksi serta FM yang mendasarinya yang ditentukan selama pembuatan agen. Instruksi agen adalah pedoman deskriptif yang menguraikan tindakan yang dimaksudkan agen. Selain itu, Anda juga dapat mengonfigurasinya secara opsional petunjuk tingkat lanjut, yang memungkinkan Anda meningkatkan presisi agen dengan menggunakan konfigurasi yang lebih detail dan menawarkan contoh yang dipilih secara manual untuk petunjuk beberapa langkah. Metode ini memungkinkan Anda meningkatkan performa model dengan memberikan contoh berlabel yang terkait dengan tugas tertentu.
  3. Kelompok aksi adalah sekumpulan API dan logika bisnis terkait, yang skema OpenAPI-nya ditentukan sebagai file JSON yang disimpan di dalamnya Layanan Penyimpanan Sederhana Amazon (Amazon S3). Skema ini memungkinkan agen untuk mempertimbangkan fungsi setiap API. Setiap grup tindakan dapat menentukan satu atau beberapa jalur API, yang logika bisnisnya dijalankan melalui AWS Lambda fungsi yang terkait dengan kelompok tindakan.
  4. Basis Pengetahuan untuk Amazon Bedrock menyediakan RAG yang dikelola sepenuhnya untuk memberi agen akses ke data Anda. Anda terlebih dahulu mengonfigurasi basis pengetahuan dengan menentukan deskripsi yang menginstruksikan agen kapan menggunakan basis pengetahuan Anda. Kemudian Anda mengarahkan basis pengetahuan ke sumber data Amazon S3 Anda. Terakhir, Anda menentukan model penyematan dan memilih untuk menggunakan penyimpanan vektor yang ada atau mengizinkan Amazon Bedrock membuat penyimpanan vektor atas nama Anda. Setelah dikonfigurasi, masing-masing sinkronisasi sumber data membuat penyematan vektor pada data Anda yang dapat digunakan agen untuk mengembalikan informasi kepada pengguna atau menambah perintah FM berikutnya.
  5. Selama orkestrasi, agen mengembangkan alasan dengan langkah-langkah logis yang memerlukan pemanggilan API grup tindakan dan kueri basis pengetahuan untuk menghasilkan observasi yang dapat digunakan untuk menambah perintah dasar untuk FM yang mendasarinya. Perintah gaya ReAct ini berfungsi sebagai masukan untuk mengaktifkan FM, yang kemudian mengantisipasi rangkaian tindakan paling optimal untuk menyelesaikan tugas pengguna.
  6. Selama pascapemrosesan, setelah semua iterasi orkestrasi selesai, agen mengkurasi respons akhir. Pemrosesan pasca dinonaktifkan secara default.

Pada bagian berikut, kami membahas langkah-langkah penting untuk menerapkan solusi, termasuk langkah-langkah pra-implementasi serta pengujian dan validasi.

Buat sumber daya solusi dengan AWS CloudFormation

Sebelum membuat agen dan basis pengetahuan Anda, penting untuk membangun lingkungan simulasi yang mencerminkan sumber daya yang digunakan oleh pelanggan. Agen dan Basis Pengetahuan untuk Amazon Bedrock dirancang untuk membangun sumber daya ini, menggunakan logika bisnis yang diberikan Lambda dan repositori data pelanggan yang disimpan di Amazon S3. Penyelarasan dasar ini memberikan integrasi yang lancar antara solusi agen dan basis pengetahuan Anda dengan infrastruktur Anda yang sudah ada.

Untuk meniru sumber daya pelanggan yang ada yang digunakan oleh agen, solusi ini menggunakan buat-sumber daya-pelanggan.sh skrip shell untuk mengotomatiskan penyediaan parameter Formasi AWS Cloud templat, batuan dasar-pelanggan-sumber daya.yml, untuk menyebarkan sumber daya berikut:

  • An Amazon DynamoDB tabel diisi dengan sintetis data klaim.
  • Tiga fungsi Lambda yang mewakili logika bisnis pelanggan untuk membuat klaim, mengirimkan pengingat dokumen yang tertunda untuk klaim status terbuka, dan mengumpulkan bukti tentang klaim baru dan yang sudah ada.
  • Bucket S3 berisi dokumentasi API dalam format skema OpenAPI untuk fungsi Lambda sebelumnya dan perkiraan perbaikan, jumlah klaim, FAQ perusahaan, dan deskripsi dokumen klaim yang diperlukan untuk digunakan sebagai aset sumber data basis pengetahuan.
  • An Layanan Pemberitahuan Sederhana Amazon (Amazon SNS) topik langganan email pemegang polis untuk pemberitahuan email tentang status klaim dan tindakan yang tertunda.
  • Identitas AWS dan Manajemen Akses (IAM) izin untuk sumber daya sebelumnya.

AWS CloudFormation mengisi parameter tumpukan dengan nilai default yang disediakan dalam templat. Untuk memberikan nilai masukan alternatif, Anda dapat menentukan parameter sebagai variabel lingkungan yang direferensikan dalam ParameterKey=<ParameterKey>,ParameterValue=<Value> berpasangan dalam skrip shell berikut aws cloudformation create-stack perintah.

Selesaikan langkah-langkah berikut untuk menyediakan sumber daya Anda:

  1. Buat salinan lokal dari amazon-bedrock-samples repositori menggunakan git clone: 
    git clone https://github.com/aws-samples/amazon-bedrock-samples.git

  2. Sebelum Anda menjalankan skrip shell, navigasikan ke direktori tempat Anda mengkloning amazon-bedrock-samples repositori dan ubah izin skrip shell menjadi dapat dieksekusi: 
    # If not already cloned, clone the remote repository (https://github.com/aws-samples/amazon-bedrock-samples) and change working directory to insurance agent shell folder
cd amazon-bedrock-samples/agents/insurance-claim-lifecycle-automation/shell/
chmod u+x create-customer-resources

  3. Tetapkan nama tumpukan CloudFormation, email SNS, dan variabel lingkungan URL unggahan bukti Anda. Email SNS tersebut akan digunakan untuk notifikasi pemegang polis, dan URL pengunggahan bukti akan dibagikan kepada pemegang polis untuk mengunggah bukti klaimnya. Itu sampel pemrosesan klaim asuransi memberikan contoh front-end untuk URL unggahan bukti. 
    export STACK_NAME=<YOUR-STACK-NAME> # Stack name must be lower case for S3 bucket naming convention
export SNS_EMAIL=<YOUR-POLICY-HOLDER-EMAIL> # Email used for SNS notifications
export EVIDENCE_UPLOAD_URL=<YOUR-EVIDENCE-UPLOAD-URL> # URL provided by the agent to the policy holder for evidence upload

  4. Jalankan create-customer-resources.sh skrip shell untuk menyebarkan sumber daya pelanggan yang ditiru yang ditentukan dalam bedrock-insurance-agent.yml Templat CloudFormation. Ini adalah sumber daya di mana agen dan basis pengetahuan akan dibangun. 
    source ./create-customer-resources.sh

Sebelumnya source ./create-customer-resources.sh perintah shell menjalankan yang berikut ini Antarmuka Baris Perintah AWS (AWS CLI) perintah untuk menyebarkan tumpukan sumber daya pelanggan yang ditiru:

export ACCOUNT_ID=$(aws sts get-caller-identity --query Account --output text)
export ARTIFACT_BUCKET_NAME=$STACK_NAME-customer-resources
export DATA_LOADER_KEY="agent/lambda/data-loader/loader_deployment_package.zip"
export CREATE_CLAIM_KEY="agent/lambda/action-groups/create_claim.zip"
export GATHER_EVIDENCE_KEY="agent/lambda/action-groups/gather_evidence.zip"
export SEND_REMINDER_KEY="agent/lambda/action-groups/send_reminder.zip" aws s3 mb s3://${ARTIFACT_BUCKET_NAME} --region us-east-1
aws s3 cp ../agent/ s3://${ARTIFACT_BUCKET_NAME}/agent/ --recursive --exclude ".DS_Store" export BEDROCK_AGENTS_LAYER_ARN=$(aws lambda publish-layer-version --layer-name bedrock-agents --description "Agents for Bedrock Layer" --license-info "MIT" --content S3Bucket=${ARTIFACT_BUCKET_NAME},S3Key=agent/lambda/lambda-layer/bedrock-agents-layer.zip --compatible-runtimes python3.11 --query LayerVersionArn --output text) aws cloudformation create-stack --stack-name ${STACK_NAME} --template-body file://../cfn/bedrock-customer-resources.yml --parameters ParameterKey=ArtifactBucket,ParameterValue=${ARTIFACT_BUCKET_NAME} ParameterKey=DataLoaderKey,ParameterValue=${DATA_LOADER_KEY} ParameterKey=CreateClaimKey,ParameterValue=${CREATE_CLAIM_KEY} ParameterKey=GatherEvidenceKey,ParameterValue=${GATHER_EVIDENCE_KEY} ParameterKey=SendReminderKey,ParameterValue=${SEND_REMINDER_KEY} ParameterKey=BedrockAgentsLayerArn,ParameterValue=${BEDROCK_AGENTS_LAYER_ARN} ParameterKey=SNSEmail,ParameterValue=${SNS_EMAIL} ParameterKey=EvidenceUploadUrl,ParameterValue=${EVIDENCE_UPLOAD_URL} --capabilities CAPABILITY_NAMED_IAM aws cloudformation describe-stacks --stack-name $STACK_NAME --query "Stacks[0].StackStatus"
aws cloudformation wait stack-create-complete --stack-name $STACK_NAME

Buat basis pengetahuan

Basis Pengetahuan untuk Amazon Bedrock menggunakan RAG, sebuah teknik yang memanfaatkan penyimpanan data pelanggan untuk meningkatkan respons yang dihasilkan oleh FM. Basis pengetahuan memungkinkan agen untuk mengakses repositori data pelanggan yang ada tanpa overhead administrator yang besar. Untuk menghubungkan basis pengetahuan ke data Anda, tentukan bucket S3 sebagai sumber data. Dengan basis pengetahuan, aplikasi memperoleh informasi kontekstual yang diperkaya, menyederhanakan pengembangan melalui solusi RAG yang dikelola sepenuhnya. Tingkat abstraksi ini mempercepat waktu pemasaran dengan meminimalkan upaya menggabungkan data Anda ke dalam fungsi agen, dan mengoptimalkan biaya dengan meniadakan perlunya pelatihan ulang model berkelanjutan untuk menggunakan data pribadi.

Diagram berikut mengilustrasikan arsitektur basis pengetahuan dengan model embeddings.

Ikhtisar Basis Pengetahuan

Fungsionalitas basis pengetahuan digambarkan melalui dua proses utama: prapemrosesan (Langkah 1-3) dan waktu proses (Langkah 4-7):

  1. Dokumen menjalani segmentasi (chunking) menjadi beberapa bagian yang dapat dikelola.
  2. Potongan tersebut diubah menjadi penyematan menggunakan model penyematan Amazon Bedrock.
  3. Penyematan digunakan untuk membuat indeks vektor, memungkinkan perbandingan kesamaan semantik antara kueri pengguna dan teks sumber data.
  4. Selama runtime, pengguna memberikan input teks mereka sebagai prompt.
  5. Teks masukan diubah menjadi vektor menggunakan model penyematan Amazon Bedrock.
  6. Indeks vektor dikueri untuk potongan yang terkait dengan kueri pengguna, menambah permintaan pengguna dengan konteks tambahan yang diambil dari indeks vektor.
  7. Prompt yang diperbesar, ditambah dengan konteks tambahan, digunakan untuk menghasilkan respons bagi pengguna.

Untuk membuat basis pengetahuan, selesaikan langkah-langkah berikut:

  1. Di konsol Amazon Bedrock, pilih Dasar pengetahuan di panel navigasi.
  2. Pilih Buat basis pengetahuan.
  3. Bawah Berikan detail basis pengetahuan, masukkan nama dan deskripsi opsional, biarkan semua pengaturan default. Untuk postingan kali ini kita masukkan deskripsinya:
    Use to retrieve claim amount and repair estimate information for claim ID, or answer general insurance questions about things like coverage, premium, policy, rate, deductible, accident, and documents.
  4. Bawah Siapkan sumber data, masukkan nama.
  5. Pilih Jelajahi S3 Dan pilih knowledge-base-assets folder bucket S3 sumber data yang Anda sebarkan sebelumnya (<YOUR-STACK-NAME>-customer-resources/agent/knowledge-base-assets/).
    Konfigurasi sumber data S3 basis pengetahuan
  6. Bawah Pilih model penyematan dan konfigurasikan penyimpanan vektor, pilih Penyematan Titan G1 – Teks dan biarkan pengaturan default lainnya. Sebuah Amazon OpenSearch Tanpa Server koleksi akan dibuat untuk Anda. Penyimpanan vektor ini adalah tempat penyematan pra-pemrosesan basis pengetahuan disimpan dan kemudian digunakan untuk pencarian kesamaan semantik antara kueri dan teks sumber data.
  7. Bawah Tinjau dan buat, konfirmasikan pengaturan konfigurasi Anda, lalu pilih Buat basis pengetahuan.
    Ikhtisar Konfigurasi Basis Pengetahuan
  8. Setelah basis pengetahuan Anda dibuat, spanduk hijau “berhasil dibuat” akan ditampilkan dengan opsi untuk menyinkronkan sumber data Anda. Memilih Sync untuk memulai sinkronisasi sumber data.
    Spanduk Pembuatan Basis Pengetahuan
  9. Di konsol Amazon Bedrock, navigasikan ke basis pengetahuan yang baru saja Anda buat, lalu catat ID basis pengetahuan di bawah Ikhtisar basis pengetahuan.
    Ikhtisar Basis Pengetahuan
  10. Dengan basis pengetahuan Anda yang masih dipilih, pilih sumber data basis pengetahuan Anda yang tercantum di bawah Sumber data, lalu catat ID sumber data di bawah Ikhtisar sumber data.

ID basis pengetahuan dan ID sumber data digunakan sebagai variabel lingkungan di langkah selanjutnya saat Anda menyebarkan UI web Streamlit untuk agen Anda.

Buat agen

Agen beroperasi melalui proses build-time yang dijalankan, yang terdiri dari beberapa komponen utama:

  • Model pondasi – Pengguna memilih FM yang memandu agen dalam menafsirkan masukan pengguna, menghasilkan respons, dan mengarahkan tindakan selanjutnya selama proses orkestrasinya.
  • petunjuk – Pengguna membuat instruksi terperinci yang menguraikan fungsi agen yang dimaksudkan. Perintah lanjutan opsional memungkinkan penyesuaian pada setiap langkah orkestrasi, menggabungkan fungsi Lambda untuk mengurai keluaran.
  • (Opsional) Kelompok aksi – Pengguna menentukan tindakan untuk agen, menggunakan skema OpenAPI untuk menentukan API untuk menjalankan tugas dan fungsi Lambda untuk memproses input dan output API.
  • (Opsional) Basis pengetahuan – Pengguna dapat mengaitkan agen dengan basis pengetahuan, memberikan akses ke konteks tambahan untuk menghasilkan respons dan langkah-langkah orkestrasi.

Agen dalam solusi sampel ini menggunakan Anthropic Claude V2.1 FM di Amazon Bedrock, serangkaian instruksi, tiga kelompok tindakan, dan satu basis pengetahuan.

Untuk membuat agen, selesaikan langkah-langkah berikut:

  1. Di konsol Amazon Bedrock, pilih Agen di panel navigasi.
  2. Pilih Buat agen.
  3. Bawah Berikan detail Agen, masukkan nama agen dan deskripsi opsional, biarkan semua pengaturan default lainnya.
  4. Bawah Pilih model, pilih Claude Antropis V2.1 dan tentukan instruksi berikut untuk agen: You are an insurance agent that has access to domain-specific insurance knowledge. You can create new insurance claims, send pending document reminders to policy holders with open claims, and gather claim evidence. You can also retrieve claim amount and repair estimate information for a specific claim ID or answer general insurance questions about things like coverage, premium, policy, rate, deductible, accident, documents, resolution, and condition. You can answer internal questions about things like which steps an agent should follow and the company's internal processes. You can respond to questions about multiple claim IDs within a single conversation
  5. Pilih Selanjutnya.
  6. Bawah Tambahkan grup Tindakan, tambahkan grup tindakan pertama Anda:
    1. Untuk Masukkan nama grup Tindakan, Masuk create-claim.
    2. Untuk Deskripsi Produk, Masuk Use this action group to create an insurance claim
    3. Untuk Pilih fungsi Lambda, pilih <YOUR-STACK-NAME>-CreateClaimFunction.
    4. Untuk Pilih skema API, pilih Jelajahi S3, pilih keranjang yang dibuat sebelumnya (<YOUR-STACK-NAME>-customer-resources), lalu pilih agent/api-schema/create_claim.json.
  7. Buat grup tindakan kedua:
    1. Untuk Masukkan nama grup Tindakan, Masuk gather-evidence.
    2. Untuk Deskripsi Produk, Masuk Use this action group to send the user a URL for evidence upload on open status claims with pending documents. Return the documentUploadUrl to the user
    3. Untuk Pilih fungsi Lambda, pilih <YOUR-STACK-NAME>-GatherEvidenceFunction.
    4. Untuk Pilih skema API, pilih Jelajahi S3, pilih keranjang yang dibuat sebelumnya, lalu pilih agent/api-schema/gather_evidence.json.
  8. Buat grup tindakan ketiga:
    1. Untuk Masukkan nama grup Tindakan, Masuk send-reminder.
    2. Untuk Deskripsi Produk, Masuk Use this action group to check claim status, identify missing or pending documents, and send reminders to policy holders
    3. Untuk Pilih fungsi Lambda, pilih <YOUR-STACK-NAME>-SendReminderFunction.
    4. Untuk Pilih skema API, pilih Jelajahi S3, pilih keranjang yang dibuat sebelumnya, lalu pilih agent/api-schema/send_reminder.json.
  9. Pilih Selanjutnya.
  10. Untuk Pilih basis pengetahuan, pilih basis pengetahuan yang Anda buat sebelumnya (claims-knowledge-base).
  11. Untuk Instruksi basis pengetahuan untuk Agen, Masukkan berikut: Use to retrieve claim amount and repair estimate information for claim ID, or answer general insurance questions about things like coverage, premium, policy, rate, deductible, accident, and documents
  12. Pilih Selanjutnya.
  13. Bawah Tinjau dan buat, konfirmasikan pengaturan konfigurasi Anda, lalu pilih Buat agen.
    Ikhtisar Konfigurasi Agen

Setelah agen Anda dibuat, Anda akan melihat spanduk hijau “berhasil dibuat”.

Spanduk Pembuatan Agen

Pengujian dan validasi

Prosedur pengujian berikut bertujuan untuk memverifikasi bahwa agen dengan benar mengidentifikasi dan memahami maksud pengguna dalam membuat klaim baru, mengirimkan pengingat dokumen yang tertunda untuk klaim terbuka, mengumpulkan bukti klaim, dan mencari informasi di seluruh klaim yang ada dan repositori pengetahuan pelanggan. Akurasi respons ditentukan dengan mengevaluasi relevansi, koherensi, dan sifat jawaban yang mirip manusia yang dihasilkan oleh Agen dan Basis Pengetahuan untuk Amazon Bedrock.

Langkah-langkah penilaian dan teknik evaluasi

Validasi input pengguna dan instruksi agen mencakup hal berikut:

  • Pemrosesan awal – Gunakan contoh petunjuk untuk menilai interpretasi, pemahaman, dan respons agen terhadap beragam masukan pengguna. Validasi kepatuhan agen terhadap instruksi yang dikonfigurasi untuk memvalidasi, mengontekstualisasikan, dan mengkategorikan input pengguna secara akurat.
  • Orkestrasi – Evaluasi langkah-langkah logis yang diikuti agen (misalnya, “Pelacakan”) untuk pemanggilan API grup tindakan dan kueri basis pengetahuan guna meningkatkan perintah dasar untuk FM.
  • Pengolahan pasca – Tinjau respons akhir yang dihasilkan oleh agen setelah iterasi orkestrasi untuk memastikan keakuratan dan relevansi. Pemrosesan pasca tidak aktif secara default dan oleh karena itu tidak disertakan dalam penelusuran agen kami.

Evaluasi kelompok tindakan mencakup hal-hal berikut:

  • Validasi skema API – Validasi bahwa skema OpenAPI (didefinisikan sebagai file JSON yang disimpan di Amazon S3) secara efektif memandu alasan agen seputar tujuan setiap API.
  • Implementasi logika bisnis – Uji implementasi logika bisnis yang terkait dengan jalur API melalui fungsi Lambda yang terhubung dengan grup tindakan.

Evaluasi basis pengetahuan mencakup hal-hal berikut:

  • Verifikasi konfigurasi – Konfirmasikan bahwa instruksi basis pengetahuan mengarahkan agen dengan benar tentang kapan mengakses data.
  • Integrasi sumber data S3 – Validasi kemampuan agen untuk mengakses dan menggunakan data yang disimpan di sumber data S3 yang ditentukan.

Pengujian end-to-end mencakup hal-hal berikut:

  • Alur kerja terintegrasi – Lakukan tes komprehensif yang melibatkan kelompok tindakan dan basis pengetahuan untuk mensimulasikan skenario dunia nyata.
  • Penilaian kualitas respons – Mengevaluasi keakuratan, relevansi, dan koherensi respons agen secara keseluruhan dalam beragam konteks dan skenario.

Uji basis pengetahuan

Setelah menyiapkan basis pengetahuan di Amazon Bedrock, Anda dapat menguji perilakunya secara langsung untuk menilai responsnya sebelum mengintegrasikannya dengan agen. Proses pengujian ini memungkinkan Anda mengevaluasi kinerja basis pengetahuan, memeriksa respons, dan memecahkan masalah dengan menjelajahi potongan sumber tempat informasi diambil. Selesaikan langkah-langkah berikut:

  1. Di konsol Amazon Bedrock, pilih Dasar pengetahuan di panel navigasi.
    Ikhtisar Konsol Basis Pengetahuan
  2. Pilih basis pengetahuan yang ingin Anda uji, lalu pilih uji untuk memperluas jendela obrolan.
    Detail Basis Pengetahuan
  3. Di jendela pengujian, pilih model dasar Anda untuk menghasilkan respons.
    Model Pemilihan Basis Pengetahuan
  4. Uji basis pengetahuan Anda menggunakan contoh kueri berikut dan masukan lainnya:
    1. Bagaimana diagnosis pada perkiraan perbaikan untuk ID klaim 2s34w-8x?
    2. Berapa resolusi dan perkiraan perbaikan untuk klaim yang sama?
    3. Apa yang harus dilakukan pengemudi setelah kecelakaan?
    4. Apa yang direkomendasikan untuk laporan dan gambar kecelakaan?
    5. Apa yang dapat dikurangkan dan bagaimana cara kerjanya?
      Tes Basis Pengetahuan

Anda dapat beralih antara menghasilkan tanggapan dan mengembalikan kutipan langsung di jendela obrolan, dan Anda memiliki opsi untuk menghapus jendela obrolan atau menyalin semua keluaran menggunakan ikon yang disediakan.

Untuk memeriksa respons basis pengetahuan dan potongan sumber, Anda dapat memilih catatan kaki yang sesuai atau memilih Tampilkan detail hasil. Jendela potongan sumber akan muncul, memungkinkan Anda mencari, menyalin teks potongan, dan menavigasi ke sumber data S3.

Uji agennya

Setelah pengujian basis pengetahuan Anda berhasil, fase pengembangan berikutnya melibatkan persiapan dan pengujian fungsionalitas agen Anda. Mempersiapkan agen melibatkan pengemasan perubahan terbaru, sedangkan pengujian memberikan peluang penting untuk berinteraksi dan mengevaluasi perilaku agen. Melalui proses ini, Anda dapat menyempurnakan kemampuan agen, meningkatkan efisiensinya, dan mengatasi potensi masalah atau peningkatan yang diperlukan untuk kinerja optimal. Selesaikan langkah-langkah berikut:

  1. Di konsol Amazon Bedrock, pilih Agen di panel navigasi.
    Ikhtisar Konsol Agen
  2. Pilih agen Anda dan catat ID agen.
    Detail Agen
    Anda menggunakan ID agen sebagai variabel lingkungan di langkah selanjutnya saat Anda menyebarkan UI web Streamlit untuk agen Anda.
  3. Arahkan ke Anda Draf kerja. Awalnya, Anda memiliki draf kerja dan default TestAlias menunjuk pada rancangan ini. Draf kerja memungkinkan pengembangan berulang.
  4. Pilih Mempersiapkan untuk mengemas agen dengan perubahan terbaru sebelum pengujian. Anda harus secara rutin memeriksa waktu terakhir yang disiapkan agen untuk mengonfirmasi bahwa Anda sedang menguji dengan konfigurasi terbaru.
    Draf Kerja Agen
  5. Akses jendela pengujian dari halaman mana pun dalam konsol draf kerja agen dengan memilih uji atau ikon panah kiri.
  6. Di jendela pengujian, pilih alias dan versinya untuk pengujian. Untuk posting ini, kami menggunakan TestAlias untuk menjalankan versi draf agen Anda. Jika agen belum siap, pesan akan muncul di jendela pengujian.
    Siapkan Agen
  7. Uji agen Anda menggunakan contoh perintah berikut dan masukan lainnya:
    1. Buat klaim baru.
    2. Kirimkan pengingat dokumen tertunda kepada pemegang polis klaim 2s34w-8x.
    3. Kumpulkan bukti untuk klaim 5t16u-7v.
    4. Berapa total nilai klaim untuk klaim 3b45c-9d?
    5. Berapa total perkiraan perbaikan untuk klaim yang sama?
    6. Faktor apa saja yang menentukan premi asuransi mobil saya?
    7. Bagaimana saya bisa menurunkan tarif asuransi mobil saya?
    8. Klaim manakah yang berstatus terbuka?
    9. Kirimkan pengingat kepada seluruh pemegang polis dengan klaim terbuka.

Pastikan untuk memilih Mempersiapkan setelah melakukan perubahan untuk menerapkannya sebelum menguji agen.

Contoh percakapan pengujian berikut menyoroti kemampuan agen untuk memanggil API grup tindakan dengan logika bisnis AWS Lambda yang menanyakan tabel Amazon DynamoDB pelanggan dan mengirimkan pemberitahuan pelanggan menggunakan Amazon Simple Notification Service. Rangkaian percakapan yang sama menampilkan integrasi agen dan basis pengetahuan untuk memberikan tanggapan kepada pengguna menggunakan sumber data resmi pelanggan, seperti jumlah klaim dan dokumen FAQ.

Pengujian Agen

Alat analisis dan debugging agen

Jejak respons agen berisi informasi penting untuk membantu memahami pengambilan keputusan agen di setiap tahap, memfasilitasi proses debug, dan memberikan wawasan tentang area perbaikan. Itu ModelInvocationInput objek dalam setiap jejak menyediakan konfigurasi dan pengaturan terperinci yang digunakan dalam proses pengambilan keputusan agen, memungkinkan pelanggan menganalisis dan meningkatkan efektivitas agen.

Agen Anda akan mengurutkan masukan pengguna ke dalam salah satu kategori berikut:

  • Kategori A – Masukan yang berbahaya atau merugikan, meskipun itu adalah skenario fiksi.
  • Kategori B – Masukan saat pengguna mencoba mendapatkan informasi tentang fungsi, API, atau instruksi mana yang telah disediakan oleh agen pemanggil fungsi kami atau masukan yang mencoba memanipulasi perilaku atau instruksi agen pemanggil fungsi kami atau Anda.
  • Kategori C – Pertanyaan yang tidak dapat dijawab oleh agen pemanggil fungsi kami atau memberikan informasi berguna karena hanya menggunakan fungsi yang telah disediakan.
  • Kategori D – Pertanyaan yang dapat dijawab atau dibantu oleh agen pemanggil fungsi kami hanya dengan menggunakan fungsi yang telah disediakan dan argumen dari dalam conversation_history atau argumen relevan yang dapat dikumpulkan menggunakan askuser fungsi.
  • Kategori E – Masukan yang bukan berupa pertanyaan, melainkan jawaban terhadap pertanyaan yang ditanyakan oleh agen pemanggil fungsi kepada pengguna. Masukan hanya memenuhi syarat untuk kategori ini jika askuser fungsi adalah fungsi terakhir yang dipanggil oleh agen pemanggil fungsi dalam percakapan. Anda dapat memeriksanya dengan membaca conversation_history.

Pilih Tunjukkan jejak di bawah respons untuk melihat konfigurasi agen dan proses penalaran, termasuk basis pengetahuan dan penggunaan grup tindakan. Jejak dapat diperluas atau diciutkan untuk analisis terperinci. Tanggapan dengan informasi yang bersumber juga berisi catatan kaki untuk kutipan.

Dalam contoh penelusuran grup tindakan berikut, agen memetakan input pengguna ke create-claim kelompok aksi createClaim berfungsi selama pra-pemrosesan. Agen memiliki pemahaman tentang fungsi ini berdasarkan instruksi agen, deskripsi grup tindakan, dan skema OpenAPI. Selama proses orkestrasi, yang merupakan dua langkah dalam kasus ini, agen memanggil createClaim berfungsi dan menerima respons yang mencakup ID klaim yang baru dibuat dan daftar dokumen yang tertunda.

Dalam contoh penelusuran basis pengetahuan berikut, agen memetakan input pengguna ke Kategori D selama prapemrosesan, yang berarti salah satu fungsi agen yang tersedia harus dapat memberikan respons. Sepanjang orkestrasi, agen mencari basis pengetahuan, mengambil bagian yang relevan menggunakan penyematan, dan meneruskan teks tersebut ke model dasar untuk menghasilkan respons akhir.

Terapkan UI web Streamlit untuk agen Anda

Ketika Anda puas dengan kinerja agen dan basis pengetahuan Anda, Anda siap untuk memproduksi kemampuan mereka. Kita gunakan merampingkan dalam solusi ini untuk meluncurkan contoh front-end, yang dimaksudkan untuk meniru aplikasi produksi. Streamlit adalah pustaka Python yang dirancang untuk menyederhanakan dan menyederhanakan proses pembuatan aplikasi front-end. Aplikasi kami menyediakan dua fitur:

  • Masukan cepat agen – Memungkinkan pengguna untuk panggil agennya menggunakan masukan tugas mereka sendiri.
  • Unggah file basis pengetahuan – Memungkinkan pengguna mengunggah file lokal mereka ke bucket S3 yang digunakan sebagai sumber data untuk basis pengetahuan. Setelah file diunggah, aplikasi memulai pekerjaan penyerapan untuk menyinkronkan sumber data basis pengetahuan.

Untuk mengisolasi dependensi aplikasi Streamlit dan untuk kemudahan penerapan, kami menggunakan pengaturan-streamlit-env.sh skrip shell untuk membuat lingkungan Python virtual dengan persyaratan terinstal. Selesaikan langkah-langkah berikut:

  1. Sebelum Anda menjalankan skrip shell, navigasikan ke direktori tempat Anda mengkloning amazon-bedrock-samples repositori dan ubah izin skrip shell Streamlit menjadi dapat dieksekusi:
cd amazon-bedrock-samples/agents/insurance-claim-lifecycle-automation/agent/streamlit/
chmod u+x setup-streamlit-env.sh

  1. Jalankan skrip shell untuk mengaktifkan lingkungan virtual Python dengan dependensi yang diperlukan:
source ./setup-streamlit-env.sh

  1. Tetapkan ID agen Amazon Bedrock Anda, ID alias agen, ID basis pengetahuan, ID sumber data, nama bucket basis pengetahuan, dan variabel lingkungan Wilayah AWS:
export BEDROCK_AGENT_ID=<YOUR-AGENT-ID>
export BEDROCK_AGENT_ALIAS_ID=<YOUR-AGENT-ALIAS-ID>
export BEDROCK_KB_ID=<YOUR-KNOWLEDGE-BASE-ID>
export BEDROCK_DS_ID=<YOUR-DATA-SOURCE-ID>
export KB_BUCKET_NAME=<YOUR-KNOWLEDGE-BASE-S3-BUCKET-NAME>
export AWS_REGION=<YOUR-STACK-REGION>

  1. Jalankan aplikasi Streamlit Anda dan mulai pengujian di browser web lokal Anda:
streamlit run agent_streamlit.py

Membersihkan

Untuk menghindari biaya di akun AWS Anda, bersihkan sumber daya yang disediakan solusi

Grafik hapus-sumber daya-pelanggan.sh skrip shell mengosongkan dan menghapus bucket S3 solusi dan menghapus sumber daya yang awalnya disediakan dari bedrock-customer-resources.yml Tumpukan CloudFormation. Perintah berikut menggunakan nama tumpukan default. Jika Anda menyesuaikan nama tumpukan, sesuaikan perintahnya.

# cd amazon-bedrock-samples/agents/insurance-claim-lifecycle-automation/shell/
# chmod u+x delete-customer-resources.sh
# export STACK_NAME=<YOUR-STACK-NAME>
./delete-customer-resources.sh

Sebelumnya ./delete-customer-resources.sh perintah shell menjalankan perintah AWS CLI berikut untuk menghapus tumpukan sumber daya pelanggan yang ditiru dan bucket S3:

echo "Emptying and Deleting S3 Bucket: $ARTIFACT_BUCKET_NAME"
aws s3 rm s3://${ARTIFACT_BUCKET_NAME} --recursive
aws s3 rb s3://${ARTIFACT_BUCKET_NAME} echo "Deleting CloudFormation Stack: $STACK_NAME"
aws cloudformation delete-stack --stack-name $STACK_NAME
aws cloudformation describe-stacks --stack-name $STACK_NAME --query "Stacks[0].StackStatus"
aws cloudformation wait stack-delete-complete --stack-name $STACK_NAME

Untuk menghapus agen dan basis pengetahuan Anda, ikuti petunjuknya menghapus agen dan menghapus basis pengetahuan, Masing-masing.

Pertimbangan

Meskipun solusi yang ditunjukkan menunjukkan kemampuan Agen dan Basis Pengetahuan untuk Amazon Bedrock, penting untuk dipahami bahwa solusi ini belum siap produksi. Sebaliknya, ini berfungsi sebagai panduan konseptual bagi pelanggan yang ingin menciptakan agen yang dipersonalisasi untuk tugas spesifik dan alur kerja otomatis mereka sendiri. Pelanggan yang ingin menerapkan produksi harus menyempurnakan dan mengadaptasi model awal ini, dengan mempertimbangkan faktor keamanan berikut:

  • Akses aman ke API dan data:
    • Batasi akses ke API, database, dan sistem terintegrasi agen lainnya.
    • Memanfaatkan kontrol akses, manajemen rahasia, dan enkripsi untuk mencegah akses tidak sah.
  • Validasi dan sanitasi masukan:
    • Validasi dan sanitasi input pengguna untuk mencegah serangan injeksi atau upaya memanipulasi perilaku agen.
    • Tetapkan aturan input dan mekanisme validasi data.
  • Kontrol akses untuk manajemen dan pengujian agen:
    • Menerapkan kontrol akses yang tepat untuk konsol dan alat yang digunakan untuk mengedit, menguji, atau mengonfigurasi agen.
    • Batasi akses ke pengembang dan penguji resmi.
  • Keamanan infrastruktur:
    • Patuhi praktik terbaik keamanan AWS terkait VPC, subnet, grup keamanan, logging, dan pemantauan untuk mengamankan infrastruktur yang mendasarinya.
  • Validasi instruksi agen:
    • Tetapkan proses yang cermat untuk meninjau dan memvalidasi instruksi agen untuk mencegah perilaku yang tidak diinginkan.
  • Pengujian dan audit:
    • Uji agen dan komponen terintegrasi secara menyeluruh.
    • Menerapkan audit, pencatatan log, dan pengujian regresi percakapan agen untuk mendeteksi dan mengatasi masalah.
  • Keamanan basis pengetahuan:
    • Jika pengguna dapat menambah basis pengetahuan, validasi unggahan untuk mencegah serangan keracunan.

Untuk pertimbangan penting lainnya, lihat Bangun agen AI generatif dengan Amazon Bedrock, Amazon DynamoDB, Amazon Kendra, Amazon Lex, dan LangChain.

Kesimpulan

Penerapan agen AI generatif menggunakan Agen dan Basis Pengetahuan untuk Amazon Bedrock mewakili kemajuan signifikan dalam kemampuan operasional dan otomatisasi organisasi. Alat-alat ini tidak hanya menyederhanakan siklus hidup klaim asuransi, namun juga menjadi preseden bagi penerapan AI di berbagai domain perusahaan lainnya. Dengan mengotomatiskan tugas, meningkatkan layanan pelanggan, dan meningkatkan proses pengambilan keputusan, agen AI ini memberdayakan organisasi untuk fokus pada pertumbuhan dan inovasi, sekaligus menangani tugas rutin dan kompleks secara efisien.

Saat kita terus menyaksikan evolusi AI yang pesat, potensi alat seperti Agen dan Basis Pengetahuan untuk Amazon Bedrock dalam mentransformasikan operasi bisnis sangatlah besar. Perusahaan yang menggunakan teknologi ini akan memperoleh keunggulan kompetitif yang signifikan, ditandai dengan peningkatan efisiensi, kepuasan pelanggan, dan pengambilan keputusan. Masa depan pengelolaan dan operasi data perusahaan tidak dapat disangkal lagi condong ke arah integrasi AI yang lebih besar, dan Amazon Bedrock berada di garis depan dalam transformasi ini.

Untuk mempelajari lebih lanjut, kunjungi Agen untuk Amazon Bedrock, konsultasikan dengan Dokumentasi Amazon Batuan Dasar, jelajahi ruang AI generatif di community.aws, dan langsung mempelajarinya Lokakarya Batuan Dasar Amazon.

tentang Penulis

Kyle T.BlocksomKyle T.Blocksom adalah Sr. Solutions Architect dengan AWS yang berbasis di California Selatan. Semangat Kyle adalah menyatukan orang-orang dan memanfaatkan teknologi untuk memberikan solusi yang disukai pelanggan. Di luar pekerjaan, ia menikmati berselancar, makan, bergulat dengan anjingnya, dan memanjakan keponakannya.

tempat_img

Intelijen Terbaru

tempat_img

Hak Cipta @ 2024 Plato Technologies Inc.