Mjukvaruutvecklares användning av stora språkmodeller (LLM) ger en större möjlighet än tidigare trott för angripare att distribuera skadliga paket till utvecklingsmiljöer, enligt nyligen släppt forskning.

Studien från LLM-säkerhetsleverantören Lasso Security är en uppföljning av en rapport förra året om potentialen för angripare att missbruka LLM:s tendens att hallucinera, eller för att generera till synes rimliga men inte faktabaserade resultat som svar på användarinput.

AI-paket hallucination

Smakämnen tidigare studie fokuserade på tendensen hos ChatGPT att tillverka namnen på kodbibliotek – bland andra tillverkningar – när mjukvaruutvecklare bad den AI-aktiverade chatboten om hjälp i en utvecklingsmiljö. Med andra ord, chatboten spydde ibland ut länkar till obefintliga paket på offentliga kodlager när en utvecklare kanske ber den att föreslå paket att använda i ett projekt.

Säkerhetsforskaren Bar Lanyado, författare till studien och nu på Lasso Security, fann att angripare lätt kunde släppa ett verkligt skadligt paket på den plats som ChatGPT pekar på och ge det samma namn som det hallucinerade paketet. Varje utvecklare som laddar ner paketet baserat på ChatGPT:s rekommendation kan sedan sluta med att introducera skadlig programvara i sin utvecklingsmiljö.

Lanyados uppföljande forskning undersökte hur omfattande pakethallucinationsproblemet är i fyra olika stora språkmodeller: GPT-3.5-Turbo, GPT-4, Gemini Pro (tidigare Bard) och Coral (Cohere). Han testade också varje modells benägenhet att generera hallucinerade paket över olika programmeringsspråk och frekvensen med vilken de genererade samma hallucinerade paket.

För testerna sammanställde Lanyado en lista med tusentals "hur man"-frågor som utvecklare i olika programmeringsmiljöer - python, node.js, go, .net, ruby ​​- oftast söker hjälp från LLM:er i utvecklingsmiljöer. Lanyado ställde sedan varje modell en kodningsrelaterad fråga samt en rekommendation för ett paket relaterat till frågan. Han bad också varje modell att rekommendera ytterligare 10 paket för att lösa samma problem.

Repetitiva resultat

Resultaten var oroande. Uppseendeväckande 64.5 % av de "konversationer" som Lanyados hade med Tvillingarna genererade hallucinerade paket. Med Coral var den siffran 29.1 %; andra LLM som GPT-4 (24.2%) och GPT3.5 (22.5%) klarade sig inte mycket bättre.

När Lanyado frågade varje modell samma uppsättning frågor 100 gånger för att se hur ofta modellerna skulle hallucinera samma paket, fann han att upprepningsfrekvensen också var ögonbrynshöjande. Cohere, till exempel, spydde ut samma hallucinerade paket över 24 % av tiden; Chatta GPT-3.5 och Gemini runt 14 % och GPT-4 på 20 %. I flera fall hallucinerade olika modeller samma eller liknande förpackningar. Det högsta antalet sådana korshallucinerade modeller inträffade mellan GPT-3.5 och Gemini.

Lanyado säger att även om olika utvecklare ställde en fråga till en LLM om samma ämne men skapade frågorna på olika sätt, finns det en sannolikhet att LLM skulle rekommendera samma hallucinerade paket i varje fall. Med andra ord, alla utvecklare som använder en LLM för kodningshjälp skulle sannolikt stöta på många av samma hallucinerade paket.

"Frågan kan vara helt annorlunda men om ett liknande ämne, och hallucinationerna skulle fortfarande hända, vilket gör den här tekniken mycket effektiv", säger Lanyado. "I den aktuella forskningen fick vi 'upprepande paket' för många olika frågor och ämnen och till och med över olika modeller, vilket ökar sannolikheten för att dessa hallucinerade paket kommer att användas."

Lätt att utnyttja

En angripare beväpnad med namnen på några hallucinerade paket, till exempel, kunde ladda upp paket med samma namn till lämpliga förråd med vetskapen om att det är stor sannolikhet att en LLM skulle peka utvecklare på det. För att visa att hotet inte är teoretiskt tog Lanyado ett hallucinerat paket som heter "huggingface-cli" som han stötte på under sina tester och laddade upp ett tomt paket med samma namn till Hugging Face-förrådet för maskininlärningsmodeller. Utvecklare laddade ner det paketet mer än 32,000 XNUMX gånger, säger han.

Ur en hotaktörs synvinkel erbjuder pakethallucinationer en relativt enkel vektor för att distribuera skadlig programvara. "Som vi [såg] från forskningsresultaten är det inte så svårt", säger han. I genomsnitt hallucinerade alla modeller tillsammans 35 % för nästan 48,000 3.5 frågor, tillägger Lanyado. GPT-18 hade den lägsta andelen hallucinationer; Gemini fick högst poäng, med en genomsnittlig repetitivitet på XNUMX % för alla fyra modellerna, noterar han.

Lanyado föreslår att utvecklare iakttar försiktighet när de agerar efter paketrekommendationer från en LLM när de inte är helt säkra på dess riktighet. Han säger också att när utvecklare stöter på ett okänt paket med öppen källkod måste de besöka paketförrådet och undersöka storleken på dess community, dess underhållsregister, dess kända sårbarheter och dess totala engagemang. Utvecklare bör också skanna paketet noggrant innan det introduceras i utvecklingsmiljön.

• SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
• PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
• PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
• Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
• PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
• Källa: https://www.darkreading.com/application-security/pervasive-llm-hallucinations-expand-code-developer-attack-surface