Bicaralah dengan hampir semua orang - siapa pun manusia - dan percakapan Anda akan menemui apa Malihe Alikhani disebut sebagai “perselisihan yang sehat”, saat-saat ketika tujuan percakapan Anda bertentangan dengan tujuan pasangan Anda, saat-saat yang memerlukan klarifikasi, menimbulkan kebingungan, atau menimbulkan perselisihan.

Tidak demikian halnya dengan model bahasa besar.

Alikhani, asisten profesor di Khoury College of Computer Sciences di Northeastern University, mengatakan bahwa model bahasa besar seperti ChatGPT pasti memiliki masalah serius.

Proyek baru Alikhani, yang disebut Friction for Accountability in Conversational Transactions (FACT), merupakan kolaborasi antara Northeastern University, University of Illinois Urbana-Champaign, dan University of Southern California.

Didanai melalui hibah Eksplorasi Kecerdasan Buatan melalui Badan Proyek Penelitian Lanjutan Pertahanan, proyek FACT bertujuan untuk mengembangkan alat kecerdasan buatan yang lebih transparan dan adil.

“Salah satu hal yang membuat komunikasi manusia menjadi alat yang bermanfaat,” kata Alikhani, “adalah kenyataan bahwa kita mewakili ketidakpastian dalam ucapan dan nada bicara kita. Kami menuangkannya ke dalam ekspresi wajah kami.”

Pergesekan sehat yang muncul dari ketidakpastian dalam komunikasi antarmanusia membantu menjaga keragaman pendapat dan sudut pandang, lanjutnya.

Namun model bahasa besar (atau LLM) tidak tertarik untuk mengungkapkan ketidakpastian mereka, sehingga mengakibatkan apa yang disebut Alikhani sebagai “perilaku penjilat.” Model bahasa besar “ingin memaksimalkan kepuasan” penggunanya, katanya, dan “tidak pernah menimbulkan gesekan apa pun dalam percakapan, baik [model] yakin” dengan pernyataannya atau tidak.

Masalah tambahan muncul dengan model bahasa besar melalui kecenderungan mereka untuk berhalusinasi. LLM “mengarang fakta. Mereka sangat pandai meyakinkan orang tentang fakta yang dibuat-buat.”

Terlepas dari masalah ini, Alikhani juga mengatakan bahwa manusia cenderung terlalu mengandalkan “fakta” ​​yang dihasilkan oleh model kecerdasan buatan ini, yang “mungkin membuat fakta yang membuat Anda bahagia.”

Salah satu penyebab ketergantungan berlebihan pengguna pada LLM adalah “perilaku mirip manusia” mereka, katanya. “Itu akan memanipulasi kognisi kita.”

Model bahasa besar juga tampaknya menghasilkan respons secara instan, faktor lain yang membuat pengguna berasumsi benar. “Sulit bagi kami para ilmuwan AI untuk mengatakan kepada orang-orang, 'Ya, ini koheren. Ya, itu cepat. Ya, itu sesuai dengan gaya Anda. Tapi itu berhalusinasi,'” kata Alikhani.

Di bawah hibah baru mereka, Alikhani dan timnya akan merancang alat yang menunjukkan tingkat kepastian yang dimiliki LLM tentang pernyataan yang dibuatnya dan menimbulkan perselisihan yang sehat dalam percakapan manusia-AI.

“Bagaimana kita bisa memprediksi dan mengungkapkan kepercayaan sistem secara verbal?” Alikhani bertanya. Jika model AI “hanya 2% percaya diri, model tersebut harus mengeksternalisasikannya.”

“Salah satu tujuan utama penelitian ini adalah untuk memodelkan ketidakpastian, mengeksternalisasikan ketidakpastian” dan mengajarkan LLM cara menggambarkan ketidakpastian tersebut dalam percakapan manusia-AI. Hal ini mungkin muncul di antarmuka pengguna sebagai skor persentil kepastian model, atau model mungkin mencerminkan ketidakpastian dalam responsnya dengan cara yang lebih mirip manusia.

Misalnya, Alikhani membayangkan situasi di mana seorang pasien mungkin mengajukan pertanyaan tentang kesehatannya kepada model bahasa besar. Generasi LLM saat ini akan mencoba memberikan jawaban, meskipun jawaban tersebut mungkin berbahaya. Alikhani berharap bisa membangun model yang bisa berkata, “'Saya tidak tahu. Anda harus menghubungi perawat Anda.'”

“Ketangguhan adalah kunci akuntabilitas dalam AI,” kata Alikhani. Saat ini, LLM biasa merespons dengan satu jawaban atas pertanyaan pada saat bertanya dan jawaban yang sama sekali berbeda beberapa menit kemudian.

Dalam hal merancang AI yang aman dan akuntabel, sistem AI sebelumnya yang mungkin membantu tugas-tugas sederhana “tidak memiliki akses ke banyak kumpulan data lain,” kata Alikhani, “dan mereka tidak dapat mengatakan hal-hal yang mungkin berbahaya. , karena itu tidak ada dalam data mereka.”

Apa yang dimasukkan atau dikecualikan oleh kumpulan data tersebut adalah kunci untuk mengatasi bias yang ditampilkan LLM terhadap “gender, namun juga bias yang lebih halus, seperti kelompok in-versus out-group dan bias kognitif berbeda yang tercermin dalam model [bahasa besar].”

Kini, Alikhani berharap dapat merancang model yang dapat melayani masyarakat dengan “keterjangkauan dan preferensi yang berbeda-beda,” katanya.

“Kami tidak ingin hanya terus membangun sistem untuk populasi yang datanya kami miliki, tapi kami memikirkan siapa yang akan kami tinggalkan, dan bagaimana kami dapat menghentikan kesenjangan kesenjangan yang sangat besar ini dan bukannya memperburuknya?” dia bertanya. “Tujuan lab saya adalah bergerak ke arah itu.”

• Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
• PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
• PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
• PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
• PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
• Sumber: https://www.mtlc.co/large-language-models-can-lie-to-you-this-professor-wants-you-to-know-when-they-do/