Í-dýpt Nokkur stór fyrirtæki hafa gefið út frumkóða sem inniheldur hugbúnaðarpakka sem áður var ofskynjaður af generative AI.

Ekki nóg með það heldur hafði einhver, eftir að hafa komið auga á þessa endurteknu ofskynjun, breytt þessari tilbúnu fíkn í alvöru, sem síðan var hlaðið niður og sett upp þúsundir sinnum af forriturum vegna slæmra ráðlegginga gervigreindar, sem við höfum lært. Ef pakkinn var hlaðinn raunverulegum spilliforritum, frekar en að vera góðkynja próf, gætu niðurstöðurnar hafa verið hörmulegar.

Að sögn Bar Lanyado, öryggisrannsakanda hjá Lasso Security, er eitt af þeim fyrirtækjum sem gervigreind hafa blekkt til að innlima pakkann Alibaba, sem þegar þetta er skrifað inniheldur enn pip stjórn til að hlaða niður Python pakkanum huggingface-cli Í hennar GraphTranslator leiðbeiningar um uppsetningu.

Það er lögmætt huggingface-cli, sett upp með því að nota pip install -U "huggingface_hub[cli]".

En huggingface-cli dreift í gegnum Python Package Index (PyPI) og krafist er af GraphTranslator Alibaba - sett upp með pip install huggingface-cli – er falsað, ímyndað af gervigreind og orðið raunverulegt af Lanyado sem tilraun.

Hann skapaði huggingface-cli í desember eftir að hafa séð það ítrekað ofskynjað af generative AI; í febrúar á þessu ári var Alibaba að vísa til þess í README leiðbeiningum GraphTranslator frekar en raunverulega Hugging Face CLI tólsins.

Study

Lanyado gerði það til að kanna hvort svona ofskynjaðir hugbúnaðarpakkar - pakkaheiti sem fundin eru upp af kynslóðar gervigreindarlíkönum, væntanlega við þróun verkefnisins - haldist með tímanum og til að prófa hvort hægt sé að samþykkja upprunna pakkanöfn og nota til að dreifa skaðlegum kóða með því að skrifa raunverulegan kóða. pakka sem nota nöfn kóða sem AIs dreymdu upp.

Hugmyndin hér er sú að einhver glæpamaður gæti beðið líkön um kóðaráðgjöf, skrifað athugasemdir við ímyndaða pakka sem gervigreind kerfi mæla með ítrekað og síðan útfært þessi ósjálfstæði þannig að aðrir forritarar, þegar þeir nota sömu gerðir og fá sömu tillögur, endar með því að draga inn þessi bókasöfn, sem gætu verið eitruð af spilliforritum.

Á síðasta ári, í gegnum öryggisfyrirtækið Vulcan Cyber, Lanyado birt rannsóknir sem útlista hvernig hægt væri að setja kóðunarspurningu fyrir gervigreind líkan eins og ChatGPT og fá svar sem mælir með notkun hugbúnaðarsafns, pakka eða ramma sem er ekki til.

„Þegar árásarmaður rekur slíka herferð mun hann biðja fyrirmyndina um pakka sem leysa kóðunarvandamál, þá mun hann fá nokkra pakka sem eru ekki til,“ útskýrði Lanyado við The Register. „Hann mun hlaða upp skaðlegum pökkum með sömu nöfnum í viðeigandi skrár, og frá þeim tímapunkti þarf allt sem hann þarf að gera að bíða eftir að fólk hali niður pakkanum.

Hættulegar forsendur

Vilji gervigreindarlíkana til að vera með sjálfstraust vitna í dómsmál sem ekki eru til er nú alþekkt og hefur valdið litlum óþægindum meðal lögmanna sem hafa ekki vitað af þessari tilhneigingu. Og eins og það kemur í ljós munu kynslóðar gervigreindargerðir gera það sama fyrir hugbúnaðarpakka.

Eins og Lanyado tók fram áður gæti illmenni notað gervigreind sem fundið er upp nafn fyrir skaðlegan pakka sem hlaðið er upp á einhverja geymslu í von um að aðrir gætu halað niður spilliforritinu. En til þess að þetta sé þýðingarmikill árásarvektor, þyrftu gervigreindarlíkön að mæla með hinu samnefnda nafni ítrekað.

Það var það sem Lanyado ætlaði sér að prófa. Vopnaður þúsundum „hvernig á að“ spurningum spurði hann fjórar gervigreindargerðir (GPT-3.5-Turbo, GPT-4, Gemini Pro aka Bard og Coral [Cohere]) varðandi forritunaráskoranir í fimm mismunandi forritunarmálum/keyrslutíma (Python, Node.js, Go, .Net og Ruby), sem hver um sig hefur sitt eigið umbúðakerfi.

Það kemur í ljós að hluti nafnanna sem þessir spjallþræðir draga upp úr lausu lofti eru viðvarandi, sum á mismunandi gerðum. Og þrautseigja – endurtekning á fölsuðu nafni – er lykillinn að því að breyta gervigreindum í hagnýta árás. Árásarmaðurinn þarf gervigreindarlíkanið til að endurtaka nöfn ofskynjaða pakka í svörum sínum til notenda fyrir spilliforrit sem búið er til undir þessum nöfnum til að leita að og hlaða niður.

Lanyado valdi 20 spurningar af handahófi fyrir núllskotsofskynjanir og lagði þær 100 sinnum fyrir hverja líkan. Markmið hans var að meta hversu oft ofskynjaða pakkanafnið hélst það sama. Niðurstöður prófs hans sýna að nöfn eru nógu viðvarandi til að þetta sé virkur árásarfergur, þó ekki allan tímann, og í sumum umbúðavistkerfum meira en öðrum.

Með GPT-4 framleiddu 24.2 prósent af svörum við spurningum ofskynjaða pakka, þar af voru 19.6 prósent endurteknar, samkvæmt Lanyado. Borð veitt til The Register, hér að neðan, sýnir nánari sundurliðun á GPT-4 svörum.

Með GPT-3.5 vöktu 22.2 prósent af svörum spurninga ofskynjanir, með 13.6 prósent endurtekningar. Fyrir Tvíburana komu 64.5 spurninga með uppgötvuð nöfn, um 14 prósent þeirra voru endurtekin. Og fyrir Cohere var það 29.1 prósent ofskynjanir, 24.2 prósent endurtekningar.

Þrátt fyrir það hafa umbúðir vistkerfin í Go og .Net verið byggð á þann hátt sem takmarkar möguleikann á nýtingu með því að meina árásarmönnum aðgang að ákveðnum slóðum og nöfnum.

„Í Go og .Net fengum við ofskynjaða pakka en marga þeirra var ekki hægt að nota til árása (í Go voru tölurnar miklu marktækari en í .Net), hvert tungumál af sinni ástæðu,“ útskýrði Lanyado við The Register. „Í Python og npm er það ekki raunin, þar sem líkanið mælir með okkur með pakka sem eru ekki til og ekkert kemur í veg fyrir að við höldum upp pökkum með þessum nöfnum, svo það er örugglega miklu auðveldara að keyra svona árás á tungumál, ss. Python og Node.js.”

Sáning PoC malware

Lanyado benti á það með því að dreifa proof-of-concept malware – skaðlausu safni skráa í Python vistkerfinu. Byggt á ráðleggingum ChatGPT um að keyra pip install huggingface-cli, hann hlóð upp tómum pakka undir sama nafni til PyPI – sá sem nefndur er hér að ofan – og bjó til dummy pakka sem heitir blabladsa123 til að hjálpa til við að aðgreina skönnun pakkaskrár frá raunverulegum niðurhalstilraunum.

Niðurstaðan, fullyrðir hann, sé sú huggingface-cli fengið meira en 15,000 ekta niðurhal á þeim þremur mánuðum sem það hefur verið tiltækt.

„Að auki gerðum við leit á GitHub til að ákvarða hvort þessi pakki væri notaður í geymslum annarra fyrirtækja,“ sagði Lanyado í uppskriftina fyrir tilraun sína.

„Niðurstöður okkar leiddu í ljós að nokkur stór fyrirtæki nota eða mæla með þessum pakka í geymslum sínum. Til dæmis má finna leiðbeiningar um uppsetningu þessa pakka í README geymslu sem er tileinkuð rannsóknum sem framkvæmdar eru af Alibaba.

Alibaba svaraði ekki beiðni um athugasemdir.

Lanyado sagði einnig að það væri verkefni í eigu Hugging Face sem fól í sér falsa huggingface-cli, en það var fjarlægður eftir að hann gerði biz viðvart.

Hingað til hefur þessi tækni að minnsta kosti ekki verið notuð í raunverulegri árás sem Lanyado er meðvitaður um.

„Fyrir utan ofskynjaða pakkann okkar (pakkinn okkar er ekki illgjarn hann er bara dæmi um hversu auðvelt og hættulegt það gæti verið að nýta þessa tækni), hef ég enn ekki greint misnotkun illgjarnra leikara á þessari árásartækni,“ sagði hann. „Það er mikilvægt að hafa í huga að það er flókið að bera kennsl á slíka árás þar sem hún skilur ekki eftir sig mörg fótspor. ®

• SEO knúið efni og PR dreifing. Fáðu magnara í dag.
• PlatoData.Network Vertical Generative Ai. Styrktu sjálfan þig. Aðgangur hér.
• PlatoAiStream. Web3 upplýsingaöflun. Þekking aukin. Aðgangur hér.
• PlatóESG. Kolefni, CleanTech, Orka, Umhverfi, Sól, Úrgangsstjórnun. Aðgangur hér.
• PlatoHealth. Líftækni og klínísk rannsóknagreind. Aðgangur hér.
• Heimild: https://go.theregister.com/feed/www.theregister.com/2024/03/28/ai_bots_hallucinate_software_packages/