Di OpenAI, setiap hari Kamis adalah Hari Belajar: hari di mana karyawan memiliki opsi untuk mempelajari keterampilan teknis yang akan membuat mereka lebih baik dalam pekerjaan mereka tetapi tidak dipelajari dari pekerjaan sehari-hari. Kami telah menemukan bahwa kontribusi terbesar di OpenAI berasal dari para pakar lintas fungsi, jadi kami perlu merekrut mereka atau menumbuhkannya di sini. Sebelum Hari Belajar, kami sangat jarang melihat orang tumbuh secara lintas fungsional — misalnya, karyawan yang berasal dari latar belakang perangkat lunak jarang mengambil pembelajaran mesin (sesuatu yang sama langka di organisasi lain kecuali akademisi). Sejak Hari Belajar, pertumbuhan seperti ini menjadi sangat umum.
Pada hari pembelajaran yang khas, orang melakukan hal-hal seperti:
- Implementasi ulang makalah.
- Ikuti tutorial pembelajaran yang mendalam.
- Bermain dengan alat baru dalam manajemen klaster, kompilasi, generasi dunia virtual, atau paradigma pengkodean.
- Pelajari cara melakukan penelitian tentang masalah ukuran gigitan.
- Baca tentang perkembangan baru di bidang yang tampaknya tidak terkait AI.
Kami pikir Learning Day mungkin berguna untuk organisasi lain, jadi kami ingin berbagi bagaimana ini dimulai dan bekerja di OpenAI.
Cerita belakang
Kami pertama kali mencoba Hari Belajar di tim Robotika kami. Inilah cara Kepala Robotika kami, Wojciech Zaremba (Woj), muncul dengan gagasan:
Pada November 2018, saya menyadari bahwa saya mengalami stagnasi di sejumlah bidang karena saya selalu kewalahan dengan tugas-tugas yang mendesak. Area-area ini menjadi semakin penting untuk saya ketahui. Sebagai contoh, saya terus ingin mengevaluasi apakah tim saya harus mengganti kerangka belajar yang dalam, tetapi saya terus terganggu setelah satu atau dua jam pengkodean — yang tidak menghasilkan kemajuan ke depan. Saya terus mendengar tentang penelitian di domain lain seperti kausalitas atau model berbasis energi yang mungkin berlaku untuk robotika, tapi saya tidak tahu apa-apa tentang bidang ini — dan membaca tentang mereka selama setengah jam pada suatu waktu tidak membantu.
Saya tahu cara terbaik untuk menyelesaikan masalah ini adalah dengan belajar satu hari dalam seminggu. Tetapi jika ini yang saya butuhkan untuk menjadi lebih produktif, sepertinya ini juga yang dibutuhkan oleh tim saya. Jadi saya mencoba melakukan ini untuk seluruh tim sebagai percobaan.
Saya pikir kami akan meraih produktivitas jangka pendek tetapi melihat kenaikan dalam satu atau dua tahun. Tetapi dalam sebulan, saya mulai melihat komunikasi yang lebih baik antara peneliti dan insinyur, dengan semua orang mulai menggunakan jargon dari spesialisasi masing-masing dengan benar (misalnya hadiah diskon, MAML, perhatian diri, wadah, SRAM, StatefulSet, Raft). Dalam setengah tahun, saya mulai melihat para peneliti berbicara tentang merestrukturisasi basis kode kami menggunakan desain berbasis domain, dan insinyur mengambil tugas penelitian.
Meskipun kami mendorong belajar mandiri sebelumnya, sepertinya tidak pernah berhasil. Itu berbeda sekarang — misalnya, satu anggota tim berubah dari tidak tahu apa-apa tentang pembelajaran mesin menjadi memberikan kontribusi visi komputer dalam waktu tiga bulan. Seorang insinyur yang sangat kuat mempelajari RL selama setengah tahun, dan sekarang menghasilkan keluaran yang sebanding dengan apa yang saya harapkan dari seorang PhD RL.
Cara kerjanya
Hari Belajar terjadi setiap hari Kamis. Woj menulis pedoman berikut untuk tim Robotika, tetapi kami telah mengadaptasi prinsip-prinsip ini di setiap tim yang telah mengadopsi Hari Pembelajaran:
Hari belajar adalah hadiah ❤️
Jangan ragu untuk menggunakan hari belajar untuk:
- Membaca makalah AI
- Menerapkan kembali makalah AI
- Melanjutkan tutorial AI
- Memiliki proyek sisi kecil penelitian AI Anda
- Belajar tentang dasar-dasar: aljabar linier, statistik, dll.
- Belajar tentang dasar-dasar ML: teori informasi, inferensi Bayesian dll.
- Belajar tentang teknik. Baca tentang bahasa pemrograman baru, kerangka kerja (mis. Apa itu Rust?)
- Belajar tentang manajemen: manajemen diri, penentuan prioritas, cara kerja laboratorium penelitian terkenal (misalnya proyek Manhattan, laboratorium Bell)
- Belajar tentang teknik mesin atau memiliki proyek penelitian teknik mesin Anda (misalnya membangun aktuator linier)
- Mempelajari keterampilan apa pun yang akan meningkatkan Anda dalam pekerjaan Anda (dalam kasus saya, lebih baik menulis)
Hari pembelajaran ini adalah hadiah dari Woj. Karena itu, saya mohon Anda untuk:
- Manfaatkan hari ini, dan manfaatkan benar-benar untuk belajar. Jangan sia-siakan di Netflix, atau jangan gunakan sebagai hari akhir pekan tambahan.
- Silakan tulis apa yang Anda rencanakan untuk dipelajari, dan silakan tulis ringkasan. Ini akan membantu memotivasi orang lain untuk terus mendorong.
- Harap jangan malu untuk membagikan apa yang Anda pelajari. Tidak apa-apa jika Anda tidak mengetahui dasar-dasarnya, dan tidak masalah untuk mengatakan bahwa Anda mempelajari perkalian matriks. Setiap orang dari kami ada di sana pada suatu saat. Saya ingin membantu Anda naik level.
- Harap pastikan bahwa kegiatan dari hari pembelajaran tidak bocor ke hari-hari non-pembelajaran lainnya. Misalnya, akan payah jika Anda mencurahkan waktu sepanjang minggu untuk mempelajari dasar-dasar, atau mengerjakan proyek sampingan Anda.
Agar orang-orang bertanggung jawab, kami meminta semua orang memposting di Slack apa yang mereka pelajari hari itu.
Apa yang kita pelajari pada Hari Belajar
Berikut ini adalah contoh dari apa yang orang pelajari pada Hari Belajar tunggal.
Membaca pembelajaran dalam
Pengkodean pembelajaran yang mendalam
- reptil dan MAML
- Mainkan dengan kode JAX
- Mendaftar Transformer Jarang untuk tugas-tugas visi
- Menerapkan LSTM dan transformator dari awal; latih mereka di Penn treebank
- Latih jaring saraf untuk mereproduksi perilaku motor fisik
Matematika dan statistik
Pengelolaan
Konteks historis tentang teknologi yang kuat
Kami juga mengganti biaya belajar mandiri yang wajar seperti buku dan tutor, yang sebagian besar digunakan untuk mempelajari dasar-dasar matematika. Biaya-biaya ini adalah investasi yang sangat berharga!
Bagaimana kita mempertahankannya
Dampak Hari Belajar berasal dari bersikap keras tentang bagaimana orang menggunakannya. Ini bukan hari untuk bersantai, melainkan hari untuk jenis kerja keras tertentu. Kami melihat dan mencoba untuk menangkal mode kegagalan berikut sehingga kami dapat mempertahankannya dalam jangka panjang:
Learning Day dapat digunakan untuk bekerja. Learning Day dapat berubah menjadi hari kerja normal karena orang mungkin ingin menyelesaikan proyek utama mereka lebih cepat (karena tekanan internal atau eksternal). Kami mencegah hal ini dengan mengadakan Hari Belajar pada hari yang sama untuk setiap tim. Ini menciptakan tekanan teman sebaya yang positif dan mendorong semua orang untuk memanfaatkan Hari Belajar.
Learning Day dapat diperluas dalam cakupan ke non-Learning Days. Kami sebenarnya belum mengamati ini terjadi. Berdasarkan apa yang kami lihat dengan organisasi lain, kami pikir ini kemungkinan besar akan menunjukkan bahwa orang tersebut tidak cukup bersemangat tentang proyek utama mereka, dan akan menjadi tanda bagi manajer mereka bahwa orang tersebut harus beralih tim atau proyek.
Learning Day dapat digunakan untuk liburan. Solusi kami adalah untuk setiap anggota tim untuk berbagi kemajuan mereka di Slack via Geekbot. Ini menjaga semangat tinggi dan menyediakan mekanisme akuntabilitas.
Hari Belajar di luar Robotika
Kami baru-baru ini memperluas Hari Belajar dari sejumlah tim teknis kami ke seluruh perusahaan. Ini menjadi pokok budaya — pada survei internal terbaru kami, Hari Belajar adalah aspek budaya kami yang paling banyak dibicarakan orang. Kami senang melihat dampaknya saat kami terus berkembang dan mendukung Hari Belajar di masa depan.
