Hiljuti avaldatud uuringu kohaselt pakub tarkvaraarendajate suurte keelemudelite (LLM) kasutamine ründajatele arvatust suuremat võimalust pahatahtlike pakettide levitamiseks arenduskeskkondadesse.

LLM-i turbemüüja Lasso Security uuring on järg eelmisel aastal avaldatud aruandele potentsiaali kohta ründajad kuritarvitavad LLM-ide kalduvust hallutsinatsioonile, või luua näiliselt usutav, kuid mitte faktiliselt põhjendatud, vastuseks kasutaja sisendile.

AI paketi hallutsinatsioonid

. eelmises uuringus keskendus ChatGPT tendentsile koostada muu hulgas väljamõeldud kooditeekide nimesid, kui tarkvaraarendajad palusid arenduskeskkonnas AI-toega vestlusroboti abi. Teisisõnu paiskas vestlusbot mõnikord avalikes koodihoidlates välja linke olematutele pakettidele, kui arendaja võib paluda tal soovitada projektis kasutatavaid pakette.

Turvateadlane Bar Lanyado, uuringu autor ja praegu Lasso Securitys, leidis, et ründajad võivad hõlpsasti maha visata tegeliku pahatahtliku paketi kohta, kuhu ChatGPT osutab, ja anda sellele hallutsineeritud paketiga sama nime. Iga arendaja, kes laadib paketi ChatGPT soovituse alusel alla, võib lõpuks viia oma arenduskeskkonda pahavara.

Lanyado oma järeluuringud uuris pakettide hallutsinatsioonide probleemi levikut neljas erinevas suures keelemudelis: GPT-3.5-Turbo, GPT-4, Gemini Pro (endine Bard) ja Coral (Cohere). Ta testis ka iga mudeli kalduvust genereerida hallutsineeritud pakette erinevates programmeerimiskeeltes ja sagedust, millega nad genereerisid sama hallutsineeritud paketti.

Testide jaoks koostas Lanyado tuhandete "kuidas" küsimuste loendi, mida arendajad erinevates programmeerimiskeskkondades – python, node.js, go, .net, ruby ​​– kõige sagedamini arenduskeskkondade LLM-idelt abi otsivad. Seejärel esitas Lanyado igal mudelil kodeerimisega seotud küsimuse ja soovituse küsimusega seotud paketi kohta. Samuti palus ta igal mudelil soovitada sama probleemi lahendamiseks veel 10 paketti.

Korduvad tulemused

Tulemused olid murettekitavad. Jahmatavad 64.5% Lanyado “vestlustest”, mis oli Kaksikutega, tekitasid hallutsineeritud pakette. Koralliga oli see arv 29.1%; teistel LLM-idel, nagu GPT-4 (24.2%) ja GPT3.5 (22.5%), ei läinud palju paremini.

Kui Lanyado küsis igalt mudelilt 100 korda samu küsimusi, et näha, kui sageli modellid samu pakette hallutsineerivad, leidis ta, et ka korduste sagedus on kulmu kergitav. Näiteks paiskas Cohere välja samu hallutsineeritud pakke üle 24% ajast; Vestlus GPT-3.5 ja Kaksikud umbes 14% ja GPT-4 20%. Mitmel juhul hallutsineerisid erinevad mudelid samu või sarnaseid pakette. Kõige rohkem selliseid risthallutsineeritud mudeleid esines GPT-3.5 ja Kaksikute vahel.

Lanyado ütleb, et isegi kui erinevad arendajad esitasid LLM-ile küsimuse samal teemal, kuid koostasid küsimused erinevalt, on tõenäoline, et LLM soovitab igal juhul sama hallutsineeritud paketti. Teisisõnu, iga arendaja, kes kasutab kodeerimise abistamiseks LLM-i, kogeb tõenäoliselt palju samu hallutsineeritud pakette.

"Küsimus võib olla täiesti erinev, kuid sarnasel teemal ja hallutsinatsioonid juhtuvad ikkagi, muutes selle tehnika väga tõhusaks," ütleb Lanyado. "Praeguse uurimistöö käigus saime "korduvaid pakette" paljude erinevate küsimuste ja teemade ning isegi erinevate mudelite jaoks, mis suurendab nende hallutsineeritud pakettide kasutamise tõenäosust.

Lihtne kasutada

Näiteks mõne hallutsineeritud paketi nimedega relvastatud ründaja võib samade nimedega pakette vastavatesse hoidlatesse üles laadida, teades, et suure tõenäosusega juhib LLM arendajaid sellele. Et näidata, et oht ei ole teoreetiline, võttis Lanyado ühe hallutsineeritud paki nimega “huggingface-cli”, millega ta katsete ajal kokku puutus, ja laadis sama nimega tühja paki masinõppemudelite Hugging Face hoidlasse. Ta ütleb, et arendajad laadisid selle paketi alla rohkem kui 32,000 XNUMX korda.

Ohuteguri seisukohast pakuvad paketthallutsinatsioonid pahavara levitamiseks suhteliselt lihtsat viisi. "Nagu me uurimistulemustest [nägime], pole see nii raske," ütleb ta. Keskmiselt hallutsineerisid kõik modellid peaaegu 35 48,000 küsimuse puhul koos 3.5%, lisab Lanyado. GPT-18 oli kõige väiksem hallutsinatsioonide protsent; Ta märgib, et kõige kõrgema hinde saavutas Kaksikud, kelle keskmine korduvus oli XNUMX% kõigis neljas mudelis.

Lanyado soovitab arendajatel olla LLM-i paketi soovituste järgimisel ettevaatlik, kui nad pole selle täpsuses täiesti kindlad. Ta ütleb ka, et kui arendajad puutuvad kokku tundmatu avatud lähtekoodiga paketiga, peavad nad külastama paketihoidlat ja uurima selle kogukonna suurust, hooldusdokumente, teadaolevaid turvaauke ja üldist kaasamismäära. Samuti peaksid arendajad paketi enne arenduskeskkonda tutvustamist põhjalikult skannima.

• SEO-põhise sisu ja PR-levi. Võimenduge juba täna.
• PlatoData.Network Vertikaalne generatiivne Ai. Jõustage ennast. Juurdepääs siia.
• PlatoAiStream. Web3 luure. Täiustatud teadmised. Juurdepääs siia.
• PlatoESG. Süsinik, CleanTech, Energia, Keskkond päikeseenergia, Jäätmekäitluse. Juurdepääs siia.
• PlatoTervis. Biotehnoloogia ja kliiniliste uuringute luureandmed. Juurdepääs siia.
• Allikas: https://www.darkreading.com/application-security/pervasive-llm-hallucinations-expand-code-developer-attack-surface