ស៊ីជម្រៅ អាជីវកម្មធំ ៗ ជាច្រើនបានបោះពុម្ពកូដប្រភពដែលរួមបញ្ចូលកញ្ចប់កម្មវិធីដែលពីមុនមានការយល់ច្រឡំដោយ AI ជំនាន់។

មិនត្រឹមតែប៉ុណ្ណឹងទេ ក៏មាននរណាម្នាក់បានប្រទះឃើញការយល់ច្រលំដែលកើតឡើងម្តងទៀតនោះ បានប្រែក្លាយភាពអាស្រ័យដែលបង្កើតឡើងនោះទៅជាការពិត ដែលត្រូវបានទាញយក និងដំឡើងជាបន្តបន្ទាប់រាប់ពាន់ដងដោយអ្នកអភិវឌ្ឍន៍ ជាលទ្ធផលនៃដំបូន្មានមិនល្អរបស់ AI យើងបានរៀន។ ប្រសិនបើកញ្ចប់នេះត្រូវបានបង្កប់ដោយមេរោគពិតប្រាកដ ជាជាងការធ្វើតេស្តស្រាល លទ្ធផលអាចជាគ្រោះមហន្តរាយ។

យោងតាមលោក Bar Lanyado អ្នកស្រាវជ្រាវសន្តិសុខនៅ Lasso Security អាជីវកម្មមួយក្នុងចំណោមអាជីវកម្មដែលបោកបញ្ឆោតដោយ AI ក្នុងការបញ្ចូលកញ្ចប់គឺ Alibaba ដែលនៅពេលសរសេរនៅតែរួមបញ្ចូល។ pip ពាក្យបញ្ជា ដើម្បីទាញយកកញ្ចប់ Python huggingface-cli នៅក្នុងរបស់ខ្លួន អ្នកបកប្រែក្រាហ្វ សេចក្តីណែនាំអំពីការដំឡើង។

មានភាពស្របច្បាប់ អោបមុខ-cli, បានដំឡើងដោយប្រើ pip install -U "huggingface_hub[cli]".

ប៉ុន្ដែ huggingface-cli ចែកចាយតាមរយៈ Python Package Index (PyPI) និងត្រូវបានទាមទារដោយ GraphTranslator របស់ Alibaba – បានដំឡើងដោយប្រើ pip install huggingface-cli - គឺក្លែងក្លាយ ស្រមៃដោយ AI ហើយប្រែក្លាយពិតដោយ Lanyado ជាការពិសោធន៍។

គាត់​បាន​បង្កើត huggingface-cli នៅក្នុងខែធ្នូបន្ទាប់ពីបានឃើញវាធ្វើឱ្យមានការភ័ន្តច្រឡំម្តងហើយម្តងទៀតដោយ AI ជំនាន់; ត្រឹមខែកុម្ភៈឆ្នាំនេះ Alibaba បានសំដៅទៅលើវានៅក្នុងការណែនាំ README របស់ GraphTranslator ជាជាងឧបករណ៍ Hugging Face CLI ពិតប្រាកដ។

សិក្សា

Lanyado បានធ្វើដូច្នេះដើម្បីស្វែងយល់ថាតើប្រភេទនៃកញ្ចប់កម្មវិធីដែលបំភ័ន្តភ្នែកទាំងនេះ - ឈ្មោះកញ្ចប់ដែលត្រូវបានបង្កើតដោយគំរូ AI ទូទៅ សន្មតថាក្នុងអំឡុងពេលនៃការអភិវឌ្ឍន៍គម្រោង - បន្តយូរៗទៅ និងដើម្បីសាកល្បងថាតើឈ្មោះកញ្ចប់ដែលបានបង្កើតអាចត្រូវបានជ្រើសរើស និងប្រើដើម្បីចែកចាយកូដព្យាបាទដោយការសរសេរពិតប្រាកដ។ កញ្ចប់ដែលប្រើឈ្មោះកូដដែលសុបិនឡើងដោយ AIs ។

គំនិតនៅទីនេះគឺថានរណាម្នាក់មិនសមរម្យអាចសួរគំរូសម្រាប់ដំបូន្មានកូដ កំណត់ចំណាំនៃកញ្ចប់ស្រមៃដែលប្រព័ន្ធ AI ណែនាំម្តងហើយម្តងទៀត ហើយបន្ទាប់មកអនុវត្តភាពអាស្រ័យទាំងនោះ ដើម្បីឱ្យអ្នកសរសេរកម្មវិធីផ្សេងទៀត នៅពេលប្រើម៉ូដែលដូចគ្នា និងទទួលបានការណែនាំដូចគ្នា បញ្ចប់ការទាញចូល។ បណ្ណាល័យទាំងនោះ ដែលអាចត្រូវបានបំពុលដោយមេរោគ។

កាលពីឆ្នាំមុន តាមរយៈក្រុមហ៊ុនសន្តិសុខ Vulcan Cyber, Lanyado បោះពុម្ភ ការស្រាវជ្រាវលម្អិតអំពីរបៀបដែលមនុស្សម្នាក់អាចសួរសំណួរសរសេរកូដទៅកាន់គំរូ AI ដូចជា ChatGPT និងទទួលបានចម្លើយដែលណែនាំការប្រើប្រាស់បណ្ណាល័យកម្មវិធី កញ្ចប់ ឬក្របខ័ណ្ឌដែលមិនមាន។

"នៅពេលដែលអ្នកវាយប្រហារដំណើរការយុទ្ធនាការបែបនេះ គាត់នឹងសួរគំរូសម្រាប់កញ្ចប់ដែលដោះស្រាយបញ្ហាសរសេរកូដ បន្ទាប់មកគាត់នឹងទទួលបានកញ្ចប់មួយចំនួនដែលមិនមាន" ។ ចុះឈ្មោះ. "គាត់នឹងបង្ហោះកញ្ចប់ព្យាបាទដែលមានឈ្មោះដូចគ្នា ទៅកាន់បញ្ជីឈ្មោះដែលសមរម្យ ហើយចាប់ពីពេលនោះមក អ្វីដែលគាត់ត្រូវធ្វើគឺរង់ចាំឱ្យមនុស្សទាញយកកញ្ចប់ទាំងនោះ"។

ការសន្មត់គ្រោះថ្នាក់

ឆន្ទៈនៃគំរូ AI ប្រកបដោយទំនុកចិត្ត លើក​ឡើង​ករណី​តុលាការ​ដែល​មិន​មាន ឥឡូវ​នេះ​ត្រូវ​បាន​គេ​ស្គាល់​យ៉ាង​ច្បាស់ ហើយ​មិន​បាន​បង្ក​ឱ្យ​មាន​ការ​អាម៉ាស់​តិចតួច​ក្នុង​ចំណោម​មេធាវី​ដែល​មិន​ដឹង​អំពី​ទំនោរ​នេះ​ទេ។ ហើយដូចដែលវាប្រែចេញ ម៉ូដែល AI ជំនាន់នឹងធ្វើដូចគ្នាសម្រាប់កញ្ចប់កម្មវិធី។

ដូចដែល Lanyado បានកត់សម្គាល់ពីមុន ជនបោកប្រាស់អាចប្រើឈ្មោះដែលបង្កើតដោយ AI សម្រាប់កញ្ចប់ព្យាបាទដែលបានបង្ហោះទៅកាន់ឃ្លាំងមួយចំនួន ដោយសង្ឃឹមថាអ្នកផ្សេងទៀតអាចទាញយកមេរោគនេះ។ ប៉ុន្តែដើម្បីឱ្យវាក្លាយជាវ៉ិចទ័រវាយប្រហារប្រកបដោយអត្ថន័យ ម៉ូដែល AI នឹងត្រូវណែនាំម្តងហើយម្តងទៀតនូវឈ្មោះដែលបានជ្រើសរើស។

នោះហើយជាអ្វីដែល Lanyado កំណត់ដើម្បីសាកល្បង។ ប្រដាប់ដោយសំណួរ "របៀបធ្វើ" រាប់ពាន់ គាត់បានសួរគំរូ AI ចំនួនបួន (GPT-3.5-Turbo, GPT-4, Gemini Pro aka Bard, និង Coral [Cohere]) ទាក់ទងនឹងបញ្ហាប្រឈមនៃការសរសេរកម្មវិធីជាភាសាសរសេរកម្មវិធីចំនួនប្រាំផ្សេងគ្នា/ពេលដំណើរការ (Python, Node.js, Go, .Net, និង Ruby) ដែលនីមួយៗមានប្រព័ន្ធវេចខ្ចប់ផ្ទាល់ខ្លួន។

វាប្រែថាផ្នែកមួយនៃឈ្មោះដែល chatbots ទាំងនេះទាញចេញពីខ្យល់ស្តើងគឺជាប់លាប់ ខ្លះនៅទូទាំងម៉ូដែលផ្សេងៗគ្នា។ ហើយការតស៊ូ - ពាក្យដដែលៗនៃឈ្មោះក្លែងក្លាយ - គឺជាគន្លឹះក្នុងការប្រែក្លាយ AI whimsy ទៅជាការវាយប្រហារមុខងារ។ អ្នកវាយប្រហារត្រូវការគំរូ AI ដើម្បីធ្វើឡើងវិញនូវឈ្មោះកញ្ចប់ដែលបំភាន់ក្នុងការឆ្លើយតបរបស់វាចំពោះអ្នកប្រើប្រាស់ចំពោះមេរោគដែលត្រូវបានបង្កើតនៅក្រោមឈ្មោះទាំងនោះដែលត្រូវស្វែងរក និងទាញយក។

Lanyado បានជ្រើសរើស 20 សំណួរដោយចៃដន្យសម្រាប់ការយល់ច្រឡំដោយសូន្យ ហើយដាក់ពួកគេ 100 ដងចំពោះម៉ូដែលនីមួយៗ។ គោលដៅរបស់គាត់គឺដើម្បីវាយតម្លៃថាតើញឹកញាប់ប៉ុណ្ណាដែលឈ្មោះកញ្ចប់ដែលបំភ័ន្តភ្នែកនៅតែដដែល។ លទ្ធផលនៃការធ្វើតេស្តរបស់គាត់បង្ហាញថាឈ្មោះជាប់លាប់ជាញឹកញាប់គ្រប់គ្រាន់សម្រាប់វាជាវ៉ិចទ័រវាយប្រហារមុខងារ ទោះបីជាមិនមែនគ្រប់ពេលក៏ដោយ ហើយនៅក្នុងប្រព័ន្ធអេកូវេចខ្ចប់ខ្លះច្រើនជាងអ្នកដទៃ។

ជាមួយនឹង GPT-4, 24.2 ភាគរយនៃការឆ្លើយតបទៅនឹងសំណួរបានផលិតកញ្ចប់ hallucinated ដែលក្នុងនោះ 19.6 ភាគរយគឺដដែលៗ នេះបើយោងតាម ​​​​Lanyado ។ តារាងផ្តល់ជូន ចុះឈ្មោះខាងក្រោមបង្ហាញពីការវិភាគលម្អិតបន្ថែមទៀតនៃការឆ្លើយតប GPT-4 ។

ជាមួយនឹង GPT-3.5, 22.2 ភាគរយនៃការឆ្លើយតបសំណួរបានធ្វើឱ្យមានការយល់ច្រលំជាមួយនឹង 13.6 ភាគរយដដែលៗ។ សម្រាប់ Gemini សំណួរចំនួន 64.5 បាននាំមកនូវឈ្មោះដែលបានបង្កើត ដែល 14 ភាគរយនៃចំនួននោះបានធ្វើម្តងទៀត។ ហើយសម្រាប់ Cohere វាជាការយល់ច្រលំ 29.1 ភាគរយ និងពាក្យដដែលៗ 24.2 ភាគរយ។

ទោះបីជាដូច្នេះក៏ដោយ ប្រព័ន្ធអេកូវេចខ្ចប់នៅក្នុង Go និង .Net ត្រូវបានបង្កើតឡើងតាមរបៀបដែលកំណត់សក្តានុពលសម្រាប់ការកេងប្រវ័ញ្ច ដោយបដិសេធអ្នកវាយប្រហារចូលទៅកាន់ផ្លូវ និងឈ្មោះជាក់លាក់។

"នៅក្នុង Go និង .Net យើងបានទទួលកញ្ចប់ដែលបំភ័ន្តភ្នែក ប៉ុន្តែពួកគេជាច្រើនមិនអាចប្រើសម្រាប់ការវាយប្រហារបានទេ (នៅក្នុង Go លេខមានសារៈសំខាន់ជាងនៅក្នុង .Net)) ភាសានីមួយៗសម្រាប់ហេតុផលផ្ទាល់ខ្លួន" Lanyado បានពន្យល់ទៅ ចុះឈ្មោះ. “នៅក្នុង Python និង npm វាមិនមែនជាករណីនោះទេ ដោយសារគំរូណែនាំយើងនូវកញ្ចប់ដែលមិនមាន ហើយគ្មានអ្វីរារាំងយើងពីការបង្ហោះកញ្ចប់ដែលមានឈ្មោះទាំងនេះ ដូច្នេះវាពិតជាងាយស្រួលជាងក្នុងការដំណើរការការវាយប្រហារប្រភេទនេះលើភាសានានា។ Python និង Node.js ។

ការបង្កើតមេរោគ PoC

Lanyado បានបង្កើតចំណុចនោះដោយការចែកចាយ proof-of-concept malware ដែលជាសំណុំឯកសារដែលមិនបង្កគ្រោះថ្នាក់នៅក្នុងប្រព័ន្ធអេកូ Python ។ ផ្អែកលើការណែនាំរបស់ ChatGPT ដើម្បីដំណើរការ pip install huggingface-cliគាត់បានបង្ហោះកញ្ចប់ទទេក្រោមឈ្មោះដូចគ្នាទៅ PyPI - មួយដែលបានរៀបរាប់ខាងលើ - ហើយបានបង្កើតកញ្ចប់អត់ចេះសោះដែលមានឈ្មោះថា blabladsa123 ដើម្បីជួយស្កេនបញ្ជីឈ្មោះកញ្ចប់ដាច់ដោយឡែកពីការប៉ុនប៉ងទាញយកជាក់ស្តែង។

លោក​អះអាង​ថា លទ្ធផល​គឺ​អ៊ីចឹង huggingface-cli បានទទួលការទាញយកពិតប្រាកដច្រើនជាង 15,000 ក្នុងរយៈពេលបីខែដែលវាអាចប្រើបាន។

"លើសពីនេះ យើងបានធ្វើការស្វែងរកនៅលើ GitHub ដើម្បីកំណត់ថាតើកញ្ចប់នេះត្រូវបានប្រើប្រាស់នៅក្នុងឃ្លាំងរបស់ក្រុមហ៊ុនផ្សេងទៀតដែរឬទេ" ។ ការសរសេរឡើង សម្រាប់ការពិសោធន៍របស់គាត់។

“ការរកឃើញរបស់យើងបានបង្ហាញថាក្រុមហ៊ុនធំៗមួយចំនួនប្រើ ឬណែនាំកញ្ចប់នេះនៅក្នុងឃ្លាំងរបស់ពួកគេ។ ជាឧទាហរណ៍ ការណែនាំសម្រាប់ការដំឡើងកញ្ចប់នេះអាចត្រូវបានរកឃើញនៅក្នុង README នៃឃ្លាំងដែលឧទ្ទិសដល់ការស្រាវជ្រាវដែលធ្វើឡើងដោយ Alibaba។

Alibaba មិន​បាន​ឆ្លើយ​តប​នឹង​សំណើ​សុំ​ការ​អត្ថាធិប្បាយ​ទេ។

Lanyado ក៏បាននិយាយផងដែរថា មានគម្រោង Hugging Face ដែលគ្រប់គ្រងដោយបញ្ចូលនូវ huggingface-cli ក្លែងក្លាយ ប៉ុន្តែនោះ ត្រូវបានដកចេញ បន្ទាប់ពីគាត់បានជូនដំណឹងដល់ប៊ីស។

រហូតមកដល់ពេលនេះ យ៉ាងហោចណាស់ បច្ចេកទេសនេះមិនត្រូវបានប្រើប្រាស់ក្នុងការវាយប្រហារជាក់ស្តែងដែល Lanyado បានដឹងនោះទេ។

គាត់បាននិយាយថា "ក្រៅពីកញ្ចប់ដែលគួរឱ្យខ្លាចរបស់យើង (កញ្ចប់របស់យើងមិនមានគំនិតអាក្រក់ទេ វាគ្រាន់តែជាឧទាហរណ៍នៃរបៀបដែលវាងាយស្រួល និងគ្រោះថ្នាក់ក្នុងការប្រើបច្ចេកទេសនេះ) ខ្ញុំមិនទាន់កំណត់អត្តសញ្ញាណការកេងប្រវ័ញ្ចនៃបច្ចេកទេសវាយប្រហារនេះដោយអ្នកប្រព្រឹត្តអាក្រក់ទេ"។ “វាមានសារៈសំខាន់ក្នុងការកត់សម្គាល់ថា វាមានភាពស្មុគស្មាញក្នុងការកំណត់អត្តសញ្ញាណការវាយប្រហារបែបនេះ ព្រោះវាមិនបានបន្សល់ទុកនូវជំហានជាច្រើន”។ ®

• SEO ដែលដំណើរការដោយមាតិកា និងការចែកចាយ PR ។ ទទួលបានការពង្រីកថ្ងៃនេះ។
• PlatoData.Network Vertical Generative Ai. ផ្តល់អំណាចដល់ខ្លួនអ្នក។ ចូលប្រើទីនេះ។
• PlatoAiStream Web3 Intelligence ។ ចំណេះដឹងត្រូវបានពង្រីក។ ចូលប្រើទីនេះ។
• ផ្លាតូអេសជី។ កាបូន CleanTech, ថាមពល, បរិស្ថាន, ពន្លឺព្រះអាទិត្យ ការគ្រប់គ្រងកាកសំណល់។ ចូលប្រើទីនេះ។
• ផ្លាតូសុខភាព។ ជីវបច្ចេកវិទ្យា និង ភាពវៃឆ្លាត សាកល្បងគ្លីនិក។ ចូលប្រើទីនេះ។
• ប្រភព: https://go.theregister.com/feed/www.theregister.com/2024/03/28/ai_bots_hallucinate_software_packages/