1IRIF, CNRS – Université Paris Cité, Prancis
2QC Ware, Palo Alto, AS dan Paris, Prancis
3Sekolah Informatika, Universitas Edinburgh, Skotlandia, Inggris
4F.Hoffmann La Roche AG
Apakah makalah ini menarik atau ingin dibahas? Scite atau tinggalkan komentar di SciRate.
Abstrak
Dalam karya ini, transformator kuantum dirancang dan dianalisis secara mendetail dengan memperluas arsitektur jaringan saraf transformator klasik canggih yang dikenal sangat berkinerja dalam pemrosesan bahasa alami dan analisis gambar. Berdasarkan penelitian sebelumnya, yang menggunakan sirkuit kuantum berparametri untuk pemuatan data dan lapisan saraf ortogonal, kami memperkenalkan tiga jenis transformator kuantum untuk pelatihan dan inferensi, termasuk transformator kuantum berdasarkan matriks gabungan, yang menjamin keuntungan teoritis dari mekanisme perhatian kuantum dibandingkan dengan model klasiknya baik dalam hal waktu berjalan asimtotik dan jumlah parameter model. Arsitektur kuantum ini dapat dibangun menggunakan sirkuit kuantum dangkal dan menghasilkan model klasifikasi yang berbeda secara kualitatif. Tiga lapisan perhatian kuantum yang diusulkan memiliki spektrum yang bervariasi antara mengikuti transformator klasik dan menunjukkan lebih banyak karakteristik kuantum. Sebagai bahan penyusun transformator kuantum, kami mengusulkan metode baru untuk memuat matriks sebagai status kuantum serta dua lapisan ortogonal kuantum baru yang dapat dilatih dan dapat disesuaikan dengan berbagai tingkat konektivitas dan kualitas komputer kuantum. Kami melakukan simulasi ekstensif transformator kuantum pada kumpulan data gambar medis standar yang menunjukkan kinerja kompetitif dan terkadang lebih baik dibandingkan dengan tolok ukur klasik, termasuk transformator penglihatan klasik terbaik di kelasnya. Transformator kuantum yang kami latih pada kumpulan data skala kecil ini memerlukan lebih sedikit parameter dibandingkan dengan tolok ukur klasik standar. Terakhir, kami menerapkan transformator kuantum pada komputer kuantum superkonduktor dan memperoleh hasil yang menggembirakan hingga enam eksperimen qubit.
Gambar unggulan: Sirkuit kuantum untuk mengeksekusi satu lapisan perhatian dari Compound Transformer. Pemuat data matriks diikuti oleh lapisan kuantum ortogonal.
Ringkasan populer
► data BibTeX
► Referensi
[1] Jacob Biamonte, Peter Wittek, Nicola Pancotti, Patrick Rebentrost, Nathan Wiebe, and Seth Lloyd. "Pembelajaran mesin kuantum". Alam 549, 195–202 (2017).
https: / / doi.org/ 10.1038 / nature23474
[2] Iris Cong, Soonwon Choi, and Mikhail D Lukin. "Jaringan saraf konvolusional kuantum". Fisika Alam 15, 1273–1278 (2019).
https://doi.org/10.1038/s41567-019-0648-8
[3] Kishor Bharti, Alba Cervera-Lierta, Thi Ha Kyaw, Tobias Haug, Sumner Alperin-Lea, Abhinav Anand, Matthias Degroote, Hermanni Heimonen, Jakob S Kottmann, Tim Menke, dkk. "Algoritme kuantum skala menengah yang berisik". Ulasan Fisika Modern 94, 015004 (2022).
https: / / doi.org/ 10.1103 / RevModPhys.94.015004
[4] Marco Cerezo, Andrew Arrasmith, Ryan Babbush, Simon C Benjamin, Suguru Endo, Keisuke Fujii, Jarrod R McClean, Kosuke Mitarai, Xiao Yuan, Lukasz Cincio, dkk. "Algoritma kuantum variasional". Ulasan Alam Fisika 3, 625–644 (2021).
https://doi.org/10.1038/s42254-021-00348-9
[5] Jonas Landman, Natansh Mathur, Yun Yvonna Li, Martin Strahm, Skander Kazdaghli, Anupam Prakash, dan Iordanis Kerenidis. “Metode kuantum untuk jaringan saraf dan penerapan klasifikasi citra medis”. Kuantum 6, 881 (2022).
https://doi.org/10.22331/q-2022-12-22-881
[6] Bobak Kiani, Randall Balestriero, Yann LeCun, dan Seth Lloyd. “projunn: Metode efisien untuk melatih jaringan dalam dengan matriks kesatuan”. Kemajuan dalam Sistem Pemrosesan Informasi Neural 35, 14448–14463 (2022).
[7] Ashish Vaswani, Noam Shazeer, Niki Parmar, Jakob Uszkoreit, Llion Jones, Aidan N Gomez, Łukasz Kaiser, and Illia Polosukhin. "Perhatian adalah semua yang Anda butuhkan". Kemajuan dalam sistem pemrosesan informasi saraf 30 (2017).
[8] Jacob Devlin, Ming-Wei Chang, Kenton Lee, dan Kristina Toutanova. “Bert: Pra-pelatihan transformator dua arah yang mendalam untuk pemahaman bahasa” (2018).
[9] Alexei Dosovitskiy, Lucas Beyer, Alexander Kolesnikov, Dirk Weissenborn, Xiaohua Zhai, Thomas Unterthiner, Mostafa Dehghani, Matthias Minderer, Georg Heigold, Sylvain Gelly, Jakob Uszkoreit, dan Neil Houlsby. “Sebuah gambar bernilai 16×16 kata: Transformer untuk pengenalan gambar dalam skala besar”. Konferensi Internasional tentang Representasi Pembelajaran (2021). url: openreview.net/forum?id=YicbFdNTTy.
https:///openreview.net/forum?id=YicbFdNTTy
[10] Yi Tay, Mostafa Dehghani, Dara Bahri, dan Donald Metzler. “Transformator yang efisien: Sebuah survei”. Survei Komputasi ACM (CSUR) (2020).
https: / / doi.org/ 10.1145 / 3530811
[11] Dzmitry Bahdanau, Kyunghyun Cho, dan Yoshua Bengio. “Terjemahan Mesin Neural dengan Belajar Bersama Menyelaraskan dan Menerjemahkan” (2016). arXiv:1409.0473 [cs, status].
arXiv: 1409.0473
[12] J.Schmidhuber. “Mengurangi Rasio Antara Kompleksitas Pembelajaran dan Jumlah Variabel Waktu yang Bervariasi dalam Jaringan Berulang Sepenuhnya”. Dalam Stan Gielen dan Bert Kappen, editor, ICANN '93. Halaman 460–463. London (1993). Peloncat.
https://doi.org/10.1007/978-1-4471-2063-6_110
[13] Jürgen Schmidhuber. “Belajar Mengontrol Memori Berbobot Cepat: Sebuah Alternatif untuk Jaringan Berulang Dinamis”. Komputasi Neural 4, 131–139 (1992).
https: / / doi.org/ 10.1162 / neco.1992.4.1.131
[14] Peter Cha, Paul Ginsparg, Felix Wu, Juan Carrasquilla, Peter L McMahon, dan Eun-Ah Kim. “Tomografi kuantum berbasis perhatian”. Pembelajaran Mesin: Sains dan Teknologi 3, 01LT01 (2021).
https:///doi.org/10.1088/2632-2153/ac362b
[15] Riccardo Di Sipio, Jia-Hong Huang, Samuel Yen-Chi Chen, Stefano Mangini, dan Marcel Worring. “Awal pemrosesan bahasa alami kuantum”. Dalam ICASSP 2022-2022 Konferensi Internasional IEEE tentang Akustik, Pidato dan Pemrosesan Sinyal (ICASSP). Halaman 8612–8616. IEEE (2022).
https:///doi.org/10.1109/ICASSP43922.2022.9747675
[16] Guangxi Li, Xuanqiang Zhao, dan Xin Wang. “Jaringan saraf perhatian diri kuantum untuk klasifikasi teks” (2022).
[17] Fabio Sanches, Sean Weinberg, Takanori Ide, dan Kazumitsu Kamiya. “Sirkuit kuantum pendek dalam kebijakan pembelajaran penguatan untuk masalah perutean kendaraan”. Tinjauan Fisik A 105, 062403 (2022).
https: / / doi.org/ 10.1103 / PhysRevA.105.062403
[18] YuanFu Yang dan Min Sun. “Deteksi cacat semikonduktor dengan pembelajaran mendalam hybrid klasik-kuantum”. CVRPHalaman 2313–2322 (2022).
https:///doi.org/10.1109/CVPR52688.2022.00236
[19] Maxwell Henderson, Samriddhi Shakya, Shashindra Pradhan, dan Tristan Cook. “Jaringan saraf kuantum: mendukung pengenalan gambar dengan sirkuit kuantum”. Kecerdasan Mesin Kuantum 2, 1–9 (2020).
https: / / doi.org/ 10.1007 / s42484-020-00012-y
[20] Edward Farhi dan Hartmut Neven. “Klasifikasi dengan jaringan saraf kuantum pada prosesor jangka pendek” (2018). url: doi.org/10.48550/arXiv.1802.06002.
https:///doi.org/10.48550/arXiv.1802.06002
[21] Kosuke Mitarai, Makoto Negoro, Masahiro Kitagawa, and Keisuke Fujii. "Pembelajaran sirkuit kuantum". Tinjauan Fisik A 98, 032309 (2018).
https: / / doi.org/ 10.1103 / PhysRevA.98.032309
[22] Kui Jia, Shuai Li, Yuxin Wen, Tongliang Liu, and Dacheng Tao. "Jaringan saraf dalam ortogonal". Transaksi IEEE pada analisis pola dan kecerdasan mesin (2019).
https: / / doi.org/ 10.1109 / TPAMI.2019.2948352
[23] Roger A Horn dan Charles R Johnson. “Analisis matriks”. Pers universitas Cambridge. (2012).
https: / / doi.org/ 10.1017 / CBO9780511810817
[24] Iordanis Kerenidis dan Anupam Prakash. “Pembelajaran mesin kuantum dengan status subruang” (2022).
[25] Brooks Foxen, Charles Neill, Andrew Dunsworth, Pedram Roushan, Ben Chiaro, Anthony Megrant, Julian Kelly, Zijun Chen, Kevin Satzinger, Rami Barends, dkk. “Mendemonstrasikan serangkaian gerbang dua qubit yang berkelanjutan untuk algoritma kuantum jangka pendek”. Surat Tinjauan Fisik 125, 120504 (2020).
https: / / doi.org/ 10.1103 / PhysRevLett.125.120504
[26] Sonika Johri, Shantanu Debnath, Avinash Mocherla, Alexandros Singk, Anupam Prakash, Jungsang Kim, dan Iordanis Kerenidis. “Klasifikasi pusat massa terdekat pada komputer kuantum ion yang terperangkap”. npj Informasi Kuantum 7, 122 (2021).
https://doi.org/10.1038/s41534-021-00456-5
[27] James W Cooley dan John W Tukey. “Algoritma untuk perhitungan mesin deret fourier kompleks”. Matematika komputasi 19, 297–301 (1965).
https://doi.org/10.1090/S0025-5718-1965-0178586-1
[28] Li Jing, Yichen Shen, Tena Dubcek, John Peurifoy, Scott A. Skirlo, Yann LeCun, Max Tegmark, dan Marin Soljacic. “Jaringan saraf kesatuan (eunn) yang efisien dan dapat diterapkan pada rnns”. Dalam Konferensi Internasional tentang Pembelajaran Mesin. (2016). url: api.semanticscholar.org/CorpusID:5287947.
https:///api.semanticscholar.org/CorpusID:5287947
[29] Léo Monbroussou, Jonas Landman, Alex B. Grilo, Romain Kukla, dan Elham Kashefi. “Kemampuan pelatihan dan ekspresivitas sirkuit kuantum pemelihara beban hamming untuk pembelajaran mesin” (2023). arXiv:2309.15547.
arXiv: 2309.15547
[30] Enrico Fontana, Dylan Herman, Shouvanik Chakrabarti, Niraj Kumar, Romina Yalovetzky, Jamie Heredge, Shree Hari Sureshbabu, dan Marco Pistoia. “Hanya yang Anda butuhkan hanyalah tambahan: Mengkarakterisasi dataran tinggi tandus dalam kuantum ansätze” (2023). arXiv:2309.07902.
arXiv: 2309.07902
[31] Michael Ragone, Bojko N. Bakalov, Frédéric Sauvage, Alexander F. Kemper, Carlos Ortiz Marrero, Martin Larocca, dan M. Cerezo. “Teori terpadu tentang dataran tinggi tandus untuk sirkuit kuantum berparametri mendalam” (2023). arXiv:2309.09342.
arXiv: 2309.09342
[32] Xuchen You dan Xiaodi Wu. “Banyak minimum lokal secara eksponensial dalam jaringan saraf kuantum”. Dalam Konferensi Internasional tentang Pembelajaran Mesin. Halaman 12144–12155. PMLR (2021).
[33] Eric R. Anschuetz dan Bobak Toussi Kiani. “Algoritme variasi kuantum dibanjiri dengan jebakan”. Komunikasi Alam 13 (2022).
https://doi.org/10.1038/s41467-022-35364-5
[34] Ilya O. Tolstikhin, Neil Houlsby, Alexander Kolesnikov, Lucas Beyer, Xiaohua Zhai, Thomas Unterthiner, Jessica Yung, Daniel Keysers, Jakob Uszkoreit, Mario Lucic, dan Alexei Dosovitskiy. “Mlp-mixer: Arsitektur serba mlp untuk visi”. Di NeuroIPS. (2021).
[35] Jiancheng Yang, Rui Shi, dan Bingbing Ni. “Decathlon klasifikasi medis: Tolok ukur automl ringan untuk analisis citra medis” (2020).
https:///doi.org/10.1109/ISBI48211.2021.9434062
[36] Jiancheng Yang, Rui Shi, Donglai Wei, Zequan Liu, Lin Zhao, Bilian Ke, Hanspeter Pfister, dan Bingbing Ni. “Medmnist v2-patokan ringan berskala besar untuk klasifikasi gambar biomedis 2d dan 3d”. Data Ilmiah 10, 41 (2023).
https://doi.org/10.1038/s41597-022-01721-8
[37] Angelos Katharopoulos, Apoorv Vyas, Nikolaos Pappas, dan François Fleuret. “Transformator adalah rnns: Transformator autoregresif cepat dengan perhatian linier”. Dalam Konferensi Internasional tentang Pembelajaran Mesin. Halaman 5156–5165. PMLR (2020).
[38] James Bradbury, Roy Frostig, Peter Hawkins, Matthew James Johnson, Chris Leary, Dougal Maclaurin, George Necula, Adam Paszke, Jake VanderPlas, Skye Wanderman-Milne, dan Qiao Zhang. “JAX: transformasi program Python+NumPy yang dapat disusun”. Github (2018). url: http:///github.com/google/jax.
http: / / github.com/ google / jax
[39] Diederik P. Kingma dan Jimmy Ba. “Adam: Sebuah metode untuk optimasi stokastik”. CoRR abs/1412.6980 (2015).
[40] Hyeonwoo Noh, Tackgeun You, Jonghwan Mun, dan Bohyung Han. "Meregulasi jaringan saraf dalam dengan noise: Interpretasi dan pengoptimalannya". NeuroIPS (2017).
[41] Xue Ying. “Ikhtisar overfitting dan solusinya”. Dalam Jurnal Fisika: Seri Konferensi. Volume 1168, halaman 022022. Penerbitan IOP (2019).
https://doi.org/10.1088/1742-6596/1168/2/022022
Dikutip oleh
[1] David Peral García, Juan Cruz-Benito, dan Francisco José García-Peñalvo, “Tinjauan Literatur Sistematis: Pembelajaran Mesin Kuantum dan penerapannya”, arXiv: 2201.04093, (2022).
[2] El Amine Cherrat, Snehal Raj, Iordanis Kerenidis, Abhishek Shekhar, Ben Wood, Jon Dee, Shouvanik Chakrabarti, Richard Chen, Dylan Herman, Shaohan Hu, Pierre Minssen, Ruslan Shaydulin, Yue Sun, Romina Yalovetzky, dan Marco Pistoia, “Lindung Nilai Dalam Quantum”, Kuantum 7, 1191 (2023).
[3] Léo Monbroussou, Jonas Landman, Alex B. Grilo, Romain Kukla, dan Elham Kashefi, “Kemampuan Pelatihan dan Ekspresivitas Sirkuit Kuantum Pelestarian Berat Hamming untuk Pembelajaran Mesin”, arXiv: 2309.15547, (2023).
[4] Sohum Thakkar, Skander Kazdaghli, Natansh Mathur, Iordanis Kerenidis, André J. Ferreira-Martins, dan Samurai Brito, “Peningkatan Peramalan Keuangan melalui Quantum Machine Learning”, arXiv: 2306.12965, (2023).
[5] Jason Iaconis dan Sonika Johri, “Pemuatan Gambar Data Kuantum Efisien Berbasis Jaringan Tensor”, arXiv: 2310.05897, (2023).
[6] Nishant Jain, Jonas Landman, Natansh Mathur, dan Iordanis Kerenidis, “Jaringan Quantum Fourier untuk Memecahkan PDE Parametrik”, arXiv: 2306.15415, (2023).
[7] Daniel Mastropietro, Georgios Korpas, Vyacheslav Kungurtsev, dan Jakub Marecek, “Fleming-Viot membantu mempercepat algoritma kuantum variasional di hadapan dataran tinggi tandus”, arXiv: 2311.18090, (2023).
[8] Aliza U. Siddiqui, Kaitlin Gili, dan Chris Ballance, “Menekankan Perangkat Keras Kuantum Modern: Evaluasi Kinerja dan Wawasan Eksekusi”, arXiv: 2401.13793, (2024).
Kutipan di atas berasal dari SAO / NASA ADS (terakhir berhasil diperbarui, 2024-02-22 13:37:43). Daftar ini mungkin tidak lengkap karena tidak semua penerbit menyediakan data kutipan yang cocok dan lengkap.
Tidak dapat mengambil Crossref dikutip oleh data selama upaya terakhir 2024-02-22 13:37:41: Tidak dapat mengambil data yang dikutip oleh untuk 10.22331 / q-2024-02-22-1265 dari Crossref. Ini normal jika DOI terdaftar baru-baru ini.
Makalah ini diterbitkan dalam Quantum di bawah Creative Commons Attribution 4.0 Internasional (CC BY 4.0) lisensi. Hak cipta tetap berada pada pemegang hak cipta asli seperti penulis atau lembaganya.
- Konten Bertenaga SEO & Distribusi PR. Dapatkan Amplifikasi Hari Ini.
- PlatoData.Jaringan Vertikal Generatif Ai. Berdayakan Diri Anda. Akses Di Sini.
- PlatoAiStream. Intelijen Web3. Pengetahuan Diperkuat. Akses Di Sini.
- PlatoESG. Karbon, teknologi bersih, energi, Lingkungan Hidup, Tenaga surya, Penanganan limbah. Akses Di Sini.
- PlatoHealth. Kecerdasan Uji Coba Biotek dan Klinis. Akses Di Sini.
- Sumber: https://quantum-journal.org/papers/q-2024-02-22-1265/
