Kecerdasan Data Generatif

Transisi mulus antara pembelajaran mesin tanpa kode dan pembelajaran mesin yang mengutamakan kode dengan Amazon SageMaker Canvas dan Amazon SageMaker Studio | Layanan Web Amazon

Tanggal:

Studio Amazon SageMaker adalah lingkungan pengembangan terintegrasi (IDE) berbasis web untuk pembelajaran mesin (ML) yang memungkinkan Anda membangun, melatih, men-debug, menerapkan, dan memantau model ML Anda. SageMaker Studio menyediakan semua alat yang Anda butuhkan untuk mengambil model mulai dari persiapan data hingga eksperimen hingga produksi sekaligus meningkatkan produktivitas Anda.

Kanvas Amazon SageMaker adalah alat ML tanpa kode canggih yang dirancang untuk tim bisnis dan data guna menghasilkan prediksi akurat tanpa menulis kode atau memiliki pengalaman ML yang luas. Dengan antarmuka visual yang intuitif, SageMaker Canvas menyederhanakan proses pemuatan, pembersihan, dan transformasi kumpulan data, serta pembuatan model ML, sehingga dapat diakses oleh audiens yang lebih luas.

Namun, seiring dengan berkembangnya kebutuhan ML Anda, atau jika Anda memerlukan penyesuaian dan kontrol lebih lanjut, Anda mungkin ingin beralih dari lingkungan tanpa kode ke pendekatan yang mengutamakan kode. Di sinilah integrasi sempurna antara SageMaker Canvas dan SageMaker Studio berperan.

Dalam postingan ini, kami menyajikan solusi untuk jenis pengguna berikut:

  • Pakar non-ML seperti analis bisnis, teknisi data, atau pengembang, yang merupakan pakar domain dan tertarik dengan alat low-code no-code (LCNC) untuk memandu mereka dalam menyiapkan data untuk ML dan membuat model ML. Persona ini biasanya hanya pengguna SageMaker Canvas dan sering kali mengandalkan pakar ML di organisasinya untuk meninjau dan menyetujui pekerjaan mereka.
  • Pakar ML yang tertarik pada bagaimana alat LCNC dapat mempercepat bagian dari siklus hidup ML (seperti persiapan data), namun juga cenderung menggunakan pendekatan kode tinggi pada bagian tertentu dari siklus hidup ML (seperti pembuatan model). Persona ini biasanya adalah pengguna SageMaker Studio yang mungkin juga merupakan pengguna SageMaker Canvas. Pakar ML juga sering berperan dalam meninjau dan menyetujui pekerjaan pakar non-ML untuk kasus penggunaan produksi.

Kegunaan solusi yang diusulkan dalam posting ini ada dua. Pertama, dengan mendemonstrasikan bagaimana Anda dapat berbagi model di SageMaker Canvas dan SageMaker Studio, pakar non-ML dan ML dapat berkolaborasi di lingkungan pilihan mereka, yang mungkin merupakan lingkungan tanpa kode (SageMaker Canvas) untuk non-ahli dan lingkungan berkode tinggi lingkungan (SageMaker Studio) untuk para ahli. Kedua, dengan mendemonstrasikan cara berbagi model dari SageMaker Canvas ke SageMaker Studio, kami menunjukkan bagaimana pakar ML yang ingin beralih dari pendekatan LCNC untuk pengembangan ke pendekatan kode tinggi untuk produksi dapat melakukannya di seluruh lingkungan SageMaker. Solusi yang diuraikan dalam postingan ini ditujukan untuk pengguna SageMaker Studio baru. Untuk pengguna SageMaker Studio Classic, lihat Berkolaborasi dengan ilmuwan data tentang bagaimana Anda dapat bertransisi dengan lancar antara SageMaker Canvas dan SageMaker Studio Classic.

Ikhtisar solusi

Untuk melakukan transisi mulus antara ML tanpa kode dan ML yang mengutamakan kode dengan SageMaker Canvas dan SageMaker Studio, kami telah menguraikan dua opsi. Anda dapat memilih opsi berdasarkan kebutuhan Anda. Dalam beberapa kasus, Anda mungkin memutuskan untuk menggunakan kedua opsi secara paralel.

  • Opsi 1: Registri Model SageMaker โ€“ Pengguna SageMaker Canvas mendaftarkan modelnya di Registri Model Amazon SageMaker, menerapkan alur kerja tata kelola bagi pakar ML untuk meninjau detail dan metrik model, lalu menyetujui atau menolaknya, setelah itu pengguna dapat menerapkan model yang disetujui dari SageMaker Canvas. Opsi ini adalah proses berbagi otomatis yang memberi Anda tata kelola bawaan dan pelacakan persetujuan. Anda dapat melihat metrik model; namun, visibilitas pada kode model dan arsitekturnya terbatas. Diagram berikut menggambarkan arsitekturnya.

Opsi 1: Registri Model SageMaker

  • Opsi 2: Ekspor buku catatan โ€“ Dalam opsi ini, pengguna SageMaker Canvas mengekspor buku catatan lengkap dari SageMaker Canvas ke Layanan Penyimpanan Sederhana Amazon (Amazon S3), lalu membagikannya dengan pakar ML untuk diimpor ke SageMaker Studio, memungkinkan visibilitas lengkap dan penyesuaian kode model dan logika sebelum pakar ML menerapkan model yang disempurnakan. Dalam opsi ini, terdapat visibilitas lengkap kode model dan arsitektur dengan kemampuan pakar ML untuk menyesuaikan dan menyempurnakan model di SageMaker Studio. Namun, opsi ini memerlukan ekspor dan impor manual model notebook ke IDE. Diagram berikut menggambarkan arsitektur ini.

Opsi 2: Ekspor buku catatan

Fase berikut menjelaskan langkah-langkah kolaborasi:

  • Share โ€“ Pengguna SageMaker Canvas mendaftarkan model dari SageMaker Canvas atau mengunduh notebook dari SageMaker Canvas
  • ULASAN โ€“ Pengguna SageMaker Studio mengakses model melalui registri model untuk meninjau dan menjalankan notebook yang diekspor melalui JupyterLab untuk memvalidasi model
  • Persetujuan โ€“ Pengguna SageMaker Studio menyetujui model dari registri model
  • Menyebarkan โ€“ Pengguna SageMaker Studio dapat menerapkan model dari JupyterLab, atau pengguna SageMaker Canvas dapat menerapkan model dari SageMaker Canvas

Mari kita lihat dua opsi (model registri dan ekspor buku catatan) dalam setiap langkah secara mendetail.

Prasyarat

Sebelum mendalami solusinya, pastikan Anda telah mendaftar dan membuat akun AWS. Maka Anda perlu membuat pengguna administratif dan grup. Untuk instruksi pada kedua langkah, lihat Siapkan Prasyarat Amazon SageMaker. Anda dapat melewati langkah ini jika Anda sudah menjalankan SageMaker Studio versi Anda sendiri.

Lengkapi survei prasyarat untuk menyiapkan SageMaker Canvas dan membuat modelnya pilihan Anda untuk kasus penggunaan Anda.

Bagikan modelnya

Pengguna SageMaker Canvas berbagi model dengan pengguna SageMaker Studio dengan mendaftarkannya di SageMaker Model Registry, yang memicu alur kerja tata kelola, atau dengan mengunduh buku catatan lengkap dari SageMaker Canvas dan memberikannya kepada pengguna SageMaker Studio.

Registri Model SageMaker

Untuk menyebarkan menggunakan SageMaker Model Registry, selesaikan langkah-langkah berikut:

  1. Setelah model dibuat di SageMaker Canvas, pilih menu opsi (tiga titik vertikal) dan pilih Tambahkan ke Registri Model.
    tambahkan ke registri model
  2. Masukkan nama untuk grup model.
  3. Pilih Add.
    nama grup model

Anda sekarang dapat melihat model telah terdaftar.
model terdaftar

Anda juga dapat melihat model tersebut menunggu persetujuan.
menunggu persetujuan

Ekspor buku catatan SageMaker

Untuk menyebarkan menggunakan notebook SageMaker, selesaikan langkah-langkah berikut:

  1. Pada menu opsi, pilih Lihat Buku Catatan.
    lihat buku catatan
  2. Pilih Salin S3 URI.
    s3 uri

Anda sekarang dapat berbagi URI S3 dengan pengguna SageMaker Studio.

Tinjau modelnya

Pengguna SageMaker Studio mengakses model bersama melalui registri model untuk meninjau detail dan metriknya, atau mereka dapat mengimpor notebook yang diekspor ke SageMaker Studio dan menggunakan notebook Jupyter untuk memvalidasi kode, logika, dan performa model secara menyeluruh.

Registri Model SageMaker

Untuk menggunakan registri model, selesaikan langkah-langkah berikut:

  1. Di konsol SageMaker Studio, pilih Model di panel navigasi.
  2. Pilih Model terdaftar.
  3. Pilih model Anda.
    pendaftaran model

Anda dapat meninjau detail model dan melihat bahwa statusnya tertunda.
statusnya tertunda

Anda juga dapat meninjau metrik yang berbeda untuk memeriksa performa model.
metrik ulasan

Anda dapat melihat metrik model; namun, visibilitas pada kode model dan arsitekturnya terbatas. Jika Anda ingin visibilitas lengkap kode model dan arsitektur dengan kemampuan untuk menyesuaikan dan menyempurnakan model, gunakan opsi ekspor notebook.

Ekspor buku catatan SageMaker

Untuk menggunakan opsi ekspor buku catatan sebagai pengguna SageMaker Studio, selesaikan langkah-langkah berikut.

  1. Luncurkan SageMaker Studio dan pilih laboratorium jupyter bawah Aplikasi.
  2. Buka ruang JupyterLab. Jika Anda tidak memiliki ruang JupyterLab, Anda dapat membuatnya.
    laboratorium jupyter
  3. Buka terminal dan jalankan perintah berikut untuk menyalin notebook dari Amazon S3 ke SageMaker Studio (nomor akun dalam contoh berikut diubah menjadi awsaccountnumber):
    sagemaker-user@default:~$ aws s3 cp s3://sagemaker-us-east-1-awsaccountnumber/Canvas/default-20240130t161835/Training/output/Canvas1707947728560/sagemaker-automl-candidates/notebooks/SageMakerAutopilotCandidateDefinitionNotebook.ipynb ./canvas.ipynb

    terminal

  4. Setelah buku catatan diunduh, Anda dapat membuka buku catatan dan menjalankan buku catatan untuk mengevaluasi lebih lanjut.

uji coba kandidat

Setujui modelnya

Setelah peninjauan komprehensif, pengguna SageMaker Studio dapat membuat keputusan yang tepat untuk menyetujui atau menolak model dalam registri model berdasarkan penilaian mereka terhadap kualitas, keakuratan, dan kesesuaian untuk kasus penggunaan yang dimaksudkan.

Bagi pengguna yang mendaftarkan modelnya melalui Canvas UI, ikuti langkah-langkah di bawah ini untuk menyetujui model. Untuk pengguna yang mengekspor notebook model dari Canvas UI, Anda dapat mendaftar dan menyetujui model menggunakan registri model SageMaker, namun langkah-langkah ini tidak diperlukan.

Registri Model SageMaker

Sebagai pengguna SageMaker Studio, jika Anda merasa nyaman dengan modelnya, Anda dapat memperbarui status menjadi disetujui. Persetujuan hanya terjadi di SageMaker Model Registry. Selesaikan langkah-langkah berikut:

  1. Di SageMaker Studio, navigasikan ke versi model.
  2. Pada menu opsi, pilih Memperbaharui status dan Disetujui.
    pembaruan status
  3. Masukkan komentar opsional dan pilih Simpan dan perbarui.
    memperbarui status model

Sekarang Anda dapat melihat model tersebut disetujui.
disetujui

Menyebarkan model

Setelah model siap diterapkan (model telah menerima tinjauan dan persetujuan yang diperlukan), pengguna memiliki dua opsi. Bagi pengguna yang menggunakan pendekatan registri model, mereka dapat menerapkan dari SageMaker Studio atau dari SageMaker Canvas. Bagi pengguna yang menggunakan pendekatan ekspor model notebook, mereka dapat menerapkan dari SageMaker Studio. Kedua opsi penerapan dirinci di bawah ini.

Terapkan melalui SageMaker Studio

Pengguna SageMaker Studio dapat menerapkan model dari ruang JupyterLab.
penerapan model

Setelah model diterapkan, Anda dapat menavigasi ke konsol SageMaker, pilih Titik akhir bawah Kesimpulan di panel navigasi, dan lihat modelnya.
endpoint

Terapkan melalui SageMaker Canvas

Alternatifnya, jika penerapan ditangani oleh pengguna SageMaker Canvas, Anda dapat menerapkan model dari SageMaker Canvas.

penerapan kanvas

Setelah model diterapkan, Anda dapat menavigasi ke Titik akhir halaman di konsol SageMaker untuk melihat model.
titik akhir yang dikerahkan

Membersihkan

Untuk menghindari timbulnya biaya sesi di masa mendatang, keluarlah dari SageMaker Canvas.

Untuk menghindari tagihan berkelanjutan, hapus titik akhir inferensi SageMaker. Anda dapat menghapus titik akhir melalui konsol SageMaker atau dari notebook SageMaker Studio menggunakan perintah berikut:

predictor.delete_model()

predictor.delete_endpoint()

Kesimpulan

Sebelumnya, Anda hanya dapat membagikan model ke SageMaker Canvas (atau melihat model SageMaker Canvas yang dibagikan) di SageMaker Studio Classic. Dalam postingan ini, kami menunjukkan cara berbagi model yang dibangun di SageMaker Canvas dengan SageMaker Studio sehingga tim yang berbeda dapat berkolaborasi dan Anda dapat beralih dari jalur penerapan tanpa kode ke jalur penerapan kode tinggi. Dengan menggunakan SageMaker Model Registry atau mengekspor notebook, pakar dan non-ahli ML dapat berkolaborasi, meninjau, dan menyempurnakan model di seluruh platform ini, memungkinkan alur kerja yang lancar mulai dari persiapan data hingga penerapan produksi.

Untuk informasi selengkapnya tentang berkolaborasi pada model menggunakan SageMaker Canvas, lihat Bangun, Bagikan, Terapkan: bagaimana analis bisnis dan ilmuwan data mencapai time-to-market yang lebih cepat menggunakan ML tanpa kode dan Amazon SageMaker Canvas.


Tentang Penulis

Rajakumar Sampatkumar adalah Manajer Akun Teknis Utama di AWS, yang memberikan panduan kepada pelanggan tentang penyelarasan teknologi bisnis dan mendukung penemuan kembali model dan proses operasi cloud mereka. Dia bersemangat tentang cloud dan pembelajaran mesin. Raj juga merupakan spesialis pembelajaran mesin dan bekerja dengan pelanggan AWS untuk merancang, menerapkan, dan mengelola beban kerja dan arsitektur AWS mereka.

Meenakshisundaram Thandavarayan bekerja untuk AWS sebagai Spesialis AI/ML. Dia memiliki hasrat untuk merancang, membuat, dan mempromosikan pengalaman data dan analitik yang berpusat pada manusia. Meena berfokus pada pengembangan sistem berkelanjutan yang memberikan keunggulan kompetitif dan terukur bagi pelanggan strategis AWS. Meena adalah seorang penghubung dan pemikir desain, dan berupaya mendorong bisnis ke cara kerja baru melalui inovasi, inkubasi, dan demokratisasi.

Claire O'Brien Rajkumar adalah Manajer Produk Senior di tim Amazon SageMaker yang berfokus pada SageMaker Canvas, ruang kerja tanpa kode kode rendah SageMaker untuk ML dan AI generatif. SageMaker Canvas membantu mendemokratisasikan ML dan AI generatif dengan menurunkan hambatan penerapan bagi mereka yang baru mengenal ML dan mempercepat alur kerja bagi praktisi tingkat lanjut.

tempat_img

Intelijen Terbaru

tempat_img