Kecerdasan Data Generatif

AI

Menyiapkan akses Amazon S3 lintas akun untuk notebook Amazon SageMaker dalam mode khusus VPC menggunakan Titik Akses Amazon S3 | Layanan Web Amazon

Diterbitkan ulang oleh Plato
Diterbitkan ulang oleh Plato

Tanggal:

views: 0

Kemajuan dalam kecerdasan buatan (AI) dan pembelajaran mesin (ML) merevolusi industri keuangan untuk kasus penggunaan seperti deteksi penipuan, penilaian kelayakan kredit, dan optimalisasi strategi perdagangan. Untuk mengembangkan model kasus penggunaan seperti itu, ilmuwan data memerlukan akses ke berbagai kumpulan data seperti mesin keputusan kredit, transaksi pelanggan, selera risiko, dan pengujian stres. Mengelola kontrol akses yang tepat untuk kumpulan data ini di antara para data scientist yang mengerjakannya sangatlah penting untuk memenuhi persyaratan kepatuhan dan peraturan yang ketat. Biasanya, kumpulan data ini dikumpulkan secara terpusat Layanan Penyimpanan Sederhana Amazon (Amazon S3) lokasi dari berbagai aplikasi bisnis dan sistem perusahaan. Ilmuwan data di seluruh unit bisnis mengerjakan pengembangan model menggunakan Amazon SageMaker diberikan akses ke data yang relevan, yang dapat mengarah pada kebutuhan pengelolaan awalan-kontrol akses tingkat. Dengan peningkatan kasus penggunaan dan penggunaan kumpulan data kebijakan ember pernyataan, mengelola akses lintas akun per aplikasi terlalu rumit dan panjang untuk diakomodasi oleh kebijakan bucket.

Titik Akses Amazon S3 menyederhanakan pengelolaan dan mengamankan akses data dalam skala besar untuk aplikasi yang menggunakan kumpulan data bersama di Amazon S3. Anda dapat membuat nama host unik menggunakan titik akses untuk menerapkan izin dan kontrol jaringan yang berbeda dan aman untuk setiap permintaan yang dibuat melalui titik akses.

Titik Akses S3 menyederhanakan pengelolaan izin akses khusus untuk setiap aplikasi yang mengakses kumpulan data bersama. Hal ini memungkinkan penyalinan data berkecepatan tinggi yang aman antara titik akses Wilayah yang sama menggunakan jaringan internal AWS dan VPC. Titik Akses S3 dapat membatasi akses ke VPC, memungkinkan Anda melakukan firewall data dalam jaringan pribadi, menguji kebijakan kontrol akses baru tanpa memengaruhi titik akses yang ada, dan mengonfigurasi kebijakan titik akhir VPC untuk membatasi akses ke bucket S3 milik ID akun tertentu.

Posting ini menjelaskan langkah-langkah yang terlibat dalam mengonfigurasi Titik Akses S3 untuk mengaktifkan akses lintas akun dari instans notebook SageMaker.

Ikhtisar solusi

Untuk kasus penggunaan kami, kami memiliki dua akun dalam sebuah organisasi: Akun A (111111111111), yang digunakan oleh data scientist untuk mengembangkan model menggunakan instans notebook SageMaker, dan Akun B (222222222222), yang memerlukan kumpulan data di bucket S3 test-bucket-1. Diagram berikut menggambarkan arsitektur solusi.

Untuk menerapkan solusi, selesaikan langkah-langkah tingkat tinggi berikut:

  1. Konfigurasikan Akun A, termasuk VPC, grup keamanan subnet, titik akhir gateway VPC, dan notebook SageMaker.
  2. Konfigurasikan Akun B, termasuk bucket S3, titik akses, dan kebijakan bucket.
  3. Konfigurasi Identitas AWS dan Manajemen Akses (IAM) izin dan kebijakan di Akun A.

Anda harus mengulangi langkah-langkah ini untuk setiap akun SageMaker yang memerlukan akses ke kumpulan data bersama dari Akun B.

Nama untuk setiap sumber daya yang disebutkan dalam posting ini adalah contoh; Anda dapat menggantinya dengan nama lain sesuai kasus penggunaan Anda.

Konfigurasikan Akun A

Selesaikan langkah-langkah berikut untuk mengonfigurasi Akun A:

  1. Buat VPC bernama DemoVPC.
  2. Buat subnet bernama DemoSubnet di VPC DemoVPC.
  3. Buat grup keamanan bernama DemoSG.
  4. Membuat Titik akhir gerbang VPC S3 bernama DemoS3GatewayEndpoint.
  5. Buat Peran eksekusi SageMaker.
  6. Buat instance notebook bernama DemoNotebookInstance dan pedoman keamanan sebagaimana diuraikan dalam Cara mengonfigurasi keamanan di Amazon SageMaker.
    1. Tentukan peran eksekusi Sagemaker yang Anda buat.
    2. Untuk pengaturan jaringan notebook, tentukan VPC, subnet, dan grup keamanan yang Anda buat.
    3. Pastikan bahwa Akses Internet langsung dinonaktifkan.

Anda menetapkan izin untuk peran tersebut pada langkah berikutnya setelah Anda membuat dependensi yang diperlukan.

Konfigurasikan Akun B

Untuk mengonfigurasi Akun B, selesaikan langkah-langkah berikut:

  1. Di Akun B, buat ember S3 bernama test-bucket-1 berikut Panduan keamanan Amazon S3.
  2. Unggah file Anda ke ember S3.
  3. Buat titik akses bernama test-ap-1 di Akun B.
    1. Jangan mengubah atau mengedit apa pun Blokir pengaturan Akses Publik untuk jalur akses ini (semua akses publik harus diblokir).
  4. Lampirkan kebijakan berikut ke titik akses Anda:
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "AWS": “arn:aws:iam:: 111111111111:role/demo ”
            },
            "Action": ["s3:GetObject", "s3:GetObjectVersion", "s3:PutObject", "s3:PutObjectAcl"]
            "Resource": [
                “arn:aws:s3:us-east-1: 222222222222:accesspoint/test-ap-1”,
                " arn:aws:s3:us-east-1: 222222222222:accesspoint/test-ap-1/object/*"
            ]
        }
    ]
}

Tindakan yang ditentukan dalam kode sebelumnya adalah contoh tindakan untuk tujuan demonstrasi. Kamu bisa menentukan tindakannya sesuai kebutuhan atau kasus penggunaan Anda.

  1. Tambahkan izin kebijakan bucket berikut untuk mengakses titik akses:
{
    "Version": "2012-10-17",
    "Statement": [
        {
            "Effect": "Allow",
            "Principal": {
                "AWS": " arn:aws:iam:: 111111111111:role/demo "
            },
            "Action" : ["s3:GetObject","s3:ListBucket"],
            "Resource" : ["arn:aws:s3:::test-bucket-1 ”, " arn:aws:s3:::test-bucket-1/*"]
            "Condition": {
                "StringEquals": {
                    "s3:DataAccessPointAccount": "222222222222"
                }
            }
        }
    ]
}

Tindakan sebelumnya adalah contohnya. Anda dapat menentukan tindakan sesuai kebutuhan Anda.

Konfigurasikan izin dan kebijakan IAM

Selesaikan langkah-langkah berikut di Akun A:

  1. Konfirmasikan bahwa peran eksekusi SageMaker memiliki Akses Penuh AmazonSagemaker kebijakan inline IAM khusus, yang terlihat seperti kode berikut:
{
            "Sid": "VisualEditor2",
            "Effect": "Allow",
            " Action": ["s3:GetObject", "s3:GetObjectVersion", "s3:PutObject", "s3:PutObjectAcl"]
            "Resource": [
                “arn:aws:s3:us-east-1: 222222222222:accesspoint/test-ap-1 ”,
                "arn:aws:s3:us-east-1: 222222222222:accesspoint/test-ap-1 /object/*”,                             "arn:aws:s3:::test-bucket-1”,
                " arn:aws:s3:::test-bucket-1/*"
            ]
}

Tindakan dalam kode kebijakan adalah contoh tindakan untuk tujuan demonstrasi.

  1. Pergi ke DemoS3GatewayEndpoint titik akhir yang Anda buat dan tambahkan izin berikut:
{

	"Version": "2012-10-17",
	"Statement": [
		{
			"Sid": "AllowCrossAccountAccessThroughAccessPoint",
			"Effect": "Allow",
			"Principal": "*",
			"Action": [
				"s3:Get*",
				"s3:List*",
				"s3:Put*"
			],
			"Resource": ": [
                “arn:aws:s3:us-east-1: 222222222222:accesspoint/test-ap-1 ”,
                "arn:aws:s3:us-east-1: 222222222222:accesspoint/test-ap-1 /object/*”,                             "arn:aws:s3:::test-bucket-1 ”,
                " arn:aws:s3:::test-bucket-1/*"
            ]
 
		}
	]
}

  1. Untuk mendapatkan daftar awalan, jalankan Antarmuka Baris Perintah AWS (AWS CLI) deskripsikan-awalan-daftar perintah:
aws ec2 describe-prefix-lists

  1. Di Akun A, Buka grup keamanan DemoSG untuk instans notebook target SageMaker
  2. Bawah Aturan keluar, buat aturan keluar dengan Semua lalu lintas or Semua TCP, lalu tentukan tujuan sebagai ID daftar awalan yang Anda ambil.

Ini menyelesaikan penyiapan di kedua akun.

Uji solusinya

Untuk memvalidasi solusi, buka terminal instans notebook SageMaker dan masukkan perintah berikut untuk mencantumkan objek melalui titik akses:

  • Untuk membuat daftar objek dengan sukses melalui titik akses S3 test-ap-1:
aws s3 ls arn:aws:s3:us-east-1:222222222222:accesspoint/Test-Ap-1

  • Untuk berhasil mendapatkan objek melalui titik akses S3 test-ap-1:
aws s3api get-object --bucket arn:aws:s3:us-east-1:222222222222:accesspoint/test-ap-1 --key sample2.csv test2.csv

Membersihkan

Setelah Anda selesai menguji, hapus semua Titik akses S3 dan ember S3. Hapus juga semua Contoh buku catatan Sagemaker untuk berhenti dikenakan biaya.

Kesimpulan

Dalam postingan ini, kami menunjukkan bagaimana Titik Akses S3 memungkinkan akses lintas akun ke kumpulan data bersama yang besar dari instans notebook SageMaker, melewati batasan ukuran yang diberlakukan oleh kebijakan bucket sambil mengonfigurasi manajemen akses berskala besar pada kumpulan data bersama.

Untuk mempelajari lebih lanjut, lihat Kelola Kumpulan Data Bersama dengan Mudah menggunakan Titik Akses Amazon S3.

Tentang penulis

Kiran Khambete bekerja sebagai Manajer Akun Teknis Senior di Amazon Web Services (AWS). Sebagai TAM, Kiran berperan sebagai ahli teknis dan pemandu strategis untuk membantu pelanggan Perusahaan mencapai tujuan bisnis mereka.

Ankit Soni dengan total pengalaman 14 tahun memegang posisi Principal Engineer di NatWest Group, di mana ia menjabat sebagai Cloud Infrastructure Architect selama enam tahun terakhir.

Kesaraju Sai Sandeep adalah Insinyur Cloud yang berspesialisasi dalam Layanan Big Data di AWS.

tempat_img

Intelijen Terbaru

tempat_img

Hak Cipta @ 2024 Plato Technologies Inc.