Postingan ini ditulis bersama oleh Zdenko Estok, Cloud Architect di Accenture dan Sakar Selimcan, DeepRacer SME di Accenture.
Dengan meningkatnya penggunaan kecerdasan buatan (AI) dan pembelajaran mesin (ML) untuk sebagian besar industri (mulai dari perawatan kesehatan hingga asuransi, dari manufaktur hingga pemasaran), fokus utama beralih ke efisiensi saat membangun dan melatih model dalam skala besar. Penciptaan lingkungan ilmu data yang dapat diskalakan dan tidak merepotkan adalah kuncinya. Diperlukan banyak waktu untuk meluncurkan dan mengonfigurasi lingkungan yang disesuaikan untuk kasus penggunaan tertentu dan bahkan lebih sulit lagi untuk mengaktifkan rekan kerja untuk berkolaborasi.
Menurut Accenture, perusahaan yang berhasil menskalakan AI dan ML secara efisien dapat mencapai laba atas investasi hampir tiga kali lipat. Namun, tidak semua perusahaan memenuhi hasil yang diharapkan dalam perjalanan AI/ML mereka. Toolkit untuk mengotomatiskan infrastruktur menjadi penting untuk penskalaan horizontal upaya AI/ML dalam perusahaan.
AWS Deep Racer adalah cara sederhana dan menyenangkan untuk memulai dengan pembelajaran penguatan (RL), sebuah teknik ML di mana agen menemukan tindakan optimal untuk dilakukan di lingkungan tertentu. Dalam kasus kami, itu akan menjadi kendaraan AWS DeepRacer, mencoba balapan cepat di trek. Anda dapat memulai dengan RL dengan cepat menggunakan tutorial langsung yang memandu Anda melalui dasar-dasar pelatihan model RL dan mengujinya dalam cara yang menyenangkan, pengalaman balap mobil otonom.
Posting ini menunjukkan bagaimana perusahaan dapat menggunakan infrastruktur sebagai kode (IaC) dengan Kit Pengembangan AWS Cloud (AWS CDK) untuk mempercepat pembuatan dan replikasi infrastruktur yang sangat dapat ditransfer dan bersaing dengan mudah untuk acara AWS DeepRacer dalam skala besar.
“IaC dikombinasikan dengan lingkungan Jupyter terkelola memberi kami yang terbaik dari kedua dunia: lingkungan ilmu data yang dapat diulang dan sangat dapat ditransfer bagi kami untuk bergabung dengan pesaing AWS DeepRacer kami untuk fokus pada apa yang mereka lakukan yang terbaik: melatih model cepat dengan cepat.”
– Selimcan Sakar, UKM AWS DeepRacer di Accenture.
Ikhtisar solusi
Mengorkestrasikan semua layanan yang diperlukan membutuhkan banyak waktu untuk membuat template yang dapat diskalakan yang dapat diterapkan untuk beberapa kasus penggunaan. Di masa lalu, Formasi AWS Cloud template telah dibuat untuk mengotomatiskan pembuatan layanan ini. Dengan kemajuan dalam otomatisasi dan konfigurasi dengan tingkat abstraksi yang meningkat untuk menyiapkan lingkungan yang berbeda dengan alat IaC, AWS CDK diadopsi secara luas di berbagai perusahaan. AWS CDK adalah kerangka kerja pengembangan perangkat lunak sumber terbuka untuk menentukan sumber daya aplikasi cloud Anda. Ini menggunakan keakraban dan kekuatan ekspresif dari bahasa pemrograman untuk memodelkan aplikasi Anda, sambil menyediakan sumber daya dengan cara yang aman dan dapat diulang.
Dalam posting ini, kami mengaktifkan penyediaan berbagai komponen yang diperlukan untuk melakukan analisis log menggunakan Amazon SageMaker di AWS DeepRacer melalui AWS CDK konstruksi.
Meskipun grafik analisis yang disediakan di dalam konsol DeepRacer jika efektif dan lugas terkait hadiah yang diberikan dan kemajuan yang dicapai, grafik tersebut tidak memberikan wawasan tentang seberapa cepat mobil bergerak melalui titik arah, atau garis seperti apa yang disukai mobil di sekitar lintasan. . Di sinilah analisis log tingkat lanjut berperan. Analisis log lanjutan kami bertujuan untuk menghadirkan efisiensi dalam pelatihan secara retrospektif untuk memahami fungsi penghargaan dan ruang tindakan mana yang bekerja lebih baik daripada yang lain saat melatih beberapa model, dan apakah model overfitting, sehingga pembalap dapat berlatih lebih cerdas dan mencapai hasil yang lebih baik dengan lebih sedikit pelatihan.
Solusi kami menjelaskan konfigurasi lingkungan AWS DeepRacer menggunakan AWS CDK untuk mempercepat perjalanan pengguna yang bereksperimen dengan analisis log SageMaker dan penguatan pembelajaran di AWS untuk acara AWS DeepRacer.
Administrator dapat menjalankan skrip AWS CDK yang disediakan di GitHub repo melalui Konsol Manajemen AWS atau di terminal setelah memuat kode di lingkungannya. Langkah-langkahnya adalah sebagai berikut:
- Open AWS Cloud9 di konsol.
- Muat modul AWS CDK dari GitHub ke lingkungan AWS Cloud9.
- Konfigurasikan modul AWS CDK seperti yang dijelaskan dalam posting ini.
- Buka file cdk.context.json dan periksa semua parameter.
- Ubah parameter sesuai kebutuhan dan jalankan perintah AWS CDK dengan persona yang dimaksud untuk meluncurkan lingkungan terkonfigurasi yang cocok untuk persona tersebut.
Diagram berikut menggambarkan arsitektur solusi.
Dengan bantuan AWS CDK, kami dapat mengontrol versi sumber daya yang kami sediakan dan memiliki lingkungan yang sangat mudah dipindahkan yang sesuai dengan praktik terbaik tingkat perusahaan.
Prasyarat
Untuk menyediakan lingkungan ML dengan AWS CDK, selesaikan prasyarat berikut:
- Memiliki akses ke akun AWS dan izin dalam Wilayah untuk menerapkan sumber daya yang diperlukan untuk berbagai persona. Pastikan Anda memiliki kredensial dan izin untuk menerapkan tumpukan AWS CDK ke akun Anda.
- Kami merekomendasikan untuk mengikuti praktik terbaik tertentu yang disorot melalui konsep yang dirinci dalam sumber daya berikut:
- Clone file GitHub repo ke dalam lingkungan Anda.
Terapkan portofolio ke akun Anda
Dalam penerapan ini, kami menggunakan AWS Cloud9 untuk membuat lingkungan ilmu data menggunakan AWS CDK.
- Arahkan ke konsol AWS Cloud9.
- Tentukan jenis lingkungan, jenis instans, dan platform Anda.
- Tentukan Anda Identitas AWS dan Manajemen Akses (IAM), VPC, dan subnet.
- Di lingkungan AWS Cloud9 Anda, buat folder baru bernama DeepRacer.
- Jalankan perintah berikut untuk menginstal AWS CDK, dan pastikan Anda memiliki dependensi yang tepat untuk menerapkan portofolio:
- Untuk memverifikasi bahwa AWS CDK telah diinstal dan untuk mengakses dokumen, jalankan perintah berikut di terminal Anda (ini akan mengarahkan Anda ke dokumentasi AWS CDK):
- Sekarang kita dapat mengkloning repositori AWS DeepRacer dari GitHub.
- Buka repo kloning di AWS Cloud9:
Setelah Anda meninjau konten di DeepRacer_cdk direktori, akan ada file bernama package.json dengan semua modul dan dependensi yang diperlukan ditentukan. Di sinilah Anda dapat menentukan sumber daya Anda dalam sebuah modul.
- Selanjutnya, instal semua modul dan dependensi yang diperlukan untuk aplikasi AWS CDK:
Ini akan mensintesis template CloudFormation yang sesuai.
- Untuk menjalankan penerapan, ubah file context.json dengan nama parameter atau tentukan secara eksplisit selama runtime:
Komponen berikut dibuat untuk analisis log AWS DeepRacer berdasarkan menjalankan skrip:
- An Peran IAM untuk notebook SageMaker dengan kebijakan terkelola
- A Instance notebook SageMaker dengan tipe instance yang ditambahkan secara eksplisit sebagai parameter konteks cdk atau nilai default yang disimpan dalam file context.json
- VPC dengan CIDR sebagaimana ditentukan dalam file context.json beserta empat subnet publik yang dikonfigurasi
- Grup keamanan baru untuk instans notebook Sagemaker memungkinkan komunikasi dalam VPC
- Kebijakan siklus hidup SageMaker dengan skrip bash yang melakukan pramuat konten dari yang lain Repositori GitHub, yang berisi file yang kami gunakan untuk menjalankan analisis log pada model AWS DeepRacer
- Anda dapat menjalankan tumpukan AWS CDK sebagai berikut:
- Buka konsol AWS CloudFormation di Wilayah tempat tumpukan diterapkan untuk memverifikasi sumber daya.
Sekarang pengguna dapat mulai menggunakan layanan tersebut untuk bekerja dengan analisis log dan pelatihan model RL mendalam di SageMaker untuk AWS DeepRacer.
Pengujian modul
Anda juga dapat menjalankan beberapa pengujian unit sebelum menerapkan tumpukan untuk memverifikasi bahwa Anda secara tidak sengaja tidak menghapus sumber daya yang diperlukan. Tes unit terletak di DeepRacer/test/deep_racer.test.ts dan dapat dijalankan dengan kode berikut:
Hasilkan diagram menggunakan cdk-dia
Untuk menghasilkan diagram, selesaikan langkah-langkah berikut:
- Install
graphvizmenggunakan alat sistem operasi Anda:
Ini menginstal aplikasi cdk-dia.
- Sekarang jalankan kode berikut:
Representasi grafis tumpukan AWS CDK Anda akan disimpan dalam format .png.
Setelah Anda menjalankan langkah-langkah sebelumnya, Anda akan dapat melihat proses pembuatan instance notebook dengan status Pending. Saat status instance notebook adalah Dalam pelayanan (seperti yang ditunjukkan pada tangkapan layar berikut), Anda dapat melanjutkan ke langkah selanjutnya.
- Pilih Buka Jupyter untuk mulai menjalankan skrip Python untuk melakukan analisis log.
Untuk detail tambahan tentang analisis log menggunakan AWS DeepRacer dan visualisasi terkait, lihat Menggunakan analisis log untuk mendorong eksperimen dan memenangkan AWS DeepRacer F1 ProAm Race.
Membersihkan
Untuk menghindari tagihan berkelanjutan, selesaikan langkah-langkah berikut:
- Gunakan cdk destroy untuk menghapus sumber daya yang dibuat melalui AWS CDK.
- Di konsol AWS CloudFormation, hapus tumpukan CloudFormation.
Kesimpulan
Acara AWS DeepRacer adalah cara yang bagus untuk membangkitkan minat dan meningkatkan pengetahuan ML di semua pilar dan level organisasi. Dalam postingan ini, kami membagikan bagaimana Anda dapat mengonfigurasi lingkungan AWS DeepRacer yang dinamis dan menyiapkan layanan selektif untuk mempercepat perjalanan pengguna di platform AWS. Kita membahas cara membuat layanan Amazon SageMaker Notebook Instance, peran IAM, konfigurasi siklus hidup notebook SageMaker dengan praktik terbaik, VPC, dan Cloud komputasi elastis Amazon (Amazon EC2) instans berdasarkan identifikasi konteks menggunakan AWS CDK dan penskalaan untuk pengguna yang berbeda menggunakan AWS DeepRacer.
Konfigurasikan lingkungan CDK dan jalankan notebook analisis log lanjutan untuk menghadirkan efisiensi dalam menjalankan modul. Bantu pembalap untuk mencapai hasil yang lebih baik dalam waktu yang lebih singkat dan dapatkan wawasan terperinci tentang fungsi dan tindakan penghargaan.
Referensi
Informasi lebih lanjut tersedia di sumber berikut:
Tentang Penulis
Zdenko Estok bekerja sebagai arsitek cloud dan insinyur DevOps di Accenture. Dia bekerja dengan AABG untuk mengembangkan dan mengimplementasikan solusi cloud yang inovatif, dan berspesialisasi dalam infrastruktur seperti kode dan keamanan cloud. Zdenko suka bersepeda ke kantor dan menikmati jalan-jalan yang menyenangkan di alam.
Selimcan "Bisa" Sakar adalah pengembang pertama cloud dan arsitek solusi di Accenture dengan fokus pada kecerdasan buatan dan hasrat untuk melihat model menyatu.
Shikhar Kwatra adalah arsitek solusi spesialis AI/ML di Amazon Web Services, bekerja dengan Integrator Sistem Global terkemuka. Shikhar membantu dalam merancang, membangun, dan memelihara lingkungan cloud yang dapat diskalakan dan hemat biaya untuk organisasi, dan mendukung mitra GSI dalam membangun solusi industri strategis di AWS. Shikhar senang bermain gitar, menggubah musik, dan melatih mindfulness di waktu luangnya.
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- Platoblockchain. Intelijen Metaverse Web3. Pengetahuan Diperkuat. Akses Di Sini.
- Sumber: https://aws.amazon.com/blogs/machine-learning/configure-an-aws-deepracer-environment-for-training-and-log-analysis-using-the-aws-cdk/
