സോഫ്റ്റ്വെയർ ഡെവലപ്പർമാരുടെ വലിയ ഭാഷാ മോഡലുകളുടെ (എൽഎൽഎം) ഉപയോഗം, വികസന പരിതസ്ഥിതികളിലേക്ക് ക്ഷുദ്രകരമായ പാക്കേജുകൾ വിതരണം ചെയ്യാൻ ആക്രമണകാരികൾക്ക് മുമ്പ് കരുതിയിരുന്നതിലും വലിയ അവസരം നൽകുന്നു, അടുത്തിടെ പുറത്തുവന്ന ഗവേഷണങ്ങൾ.
എൽഎൽഎം സെക്യൂരിറ്റി വെണ്ടറായ ലസ്സോ സെക്യൂരിറ്റിയിൽ നിന്നുള്ള പഠനം കഴിഞ്ഞ വർഷത്തെ ഒരു റിപ്പോർട്ടിൻ്റെ തുടർനടപടിയാണ്. ആക്രമണകാരികൾ LLM-കളുടെ ഭ്രമാത്മക പ്രവണത ദുരുപയോഗം ചെയ്യുന്നു, അല്ലെങ്കിൽ പ്രത്യക്ഷത്തിൽ വിശ്വസനീയമെന്ന് തോന്നിക്കുന്നതും എന്നാൽ വസ്തുതാപരമായി അടിസ്ഥാനമില്ലാത്തതും സൃഷ്ടിക്കുന്നത്, ഉപയോക്തൃ ഇൻപുട്ടിനുള്ള പ്രതികരണത്തിന് കാരണമാകുന്നു.
AI പാക്കേജ് ഹാലൂസിനേഷൻ
ദി മുമ്പത്തെ പഠനം കോഡ് ലൈബ്രറികളുടെ പേരുകൾ കെട്ടിച്ചമയ്ക്കാനുള്ള ChatGPT-യുടെ പ്രവണതയിൽ ശ്രദ്ധ കേന്ദ്രീകരിച്ചു - മറ്റ് ഫാബ്രിക്കേഷനുകൾക്കൊപ്പം - സോഫ്റ്റ്വെയർ ഡെവലപ്പർമാർ ഒരു വികസന പരിതസ്ഥിതിയിൽ AI- പ്രാപ്തമാക്കിയ ചാറ്റ്ബോട്ടിൻ്റെ സഹായം ആവശ്യപ്പെട്ടപ്പോൾ. മറ്റൊരു വിധത്തിൽ പറഞ്ഞാൽ, ഒരു പ്രോജക്റ്റിൽ ഉപയോഗിക്കാനുള്ള പാക്കേജുകൾ നിർദ്ദേശിക്കാൻ ഒരു ഡെവലപ്പർ ആവശ്യപ്പെടുമ്പോൾ, പൊതു കോഡ് ശേഖരണങ്ങളിൽ നിലവിലില്ലാത്ത പാക്കേജുകളിലേക്കുള്ള ലിങ്കുകൾ ചാറ്റ്ബോട്ട് ചിലപ്പോൾ പുറത്തുവിടുന്നു.
ചാറ്റ്‌ജിപിടി പോയിൻ്റ് ചെയ്യുന്ന സ്ഥലത്ത് ആക്രമണകാരികൾക്ക് യഥാർത്ഥ ക്ഷുദ്രകരമായ പാക്കേജ് എളുപ്പത്തിൽ ഉപേക്ഷിക്കാമെന്നും അതിന് ഹാലുസിനേറ്റഡ് പാക്കേജിൻ്റെ അതേ പേര് നൽകാമെന്നും പഠനത്തിൻ്റെ രചയിതാവും ഇപ്പോൾ ലാസ്സോ സെക്യൂരിറ്റിയിലുള്ളതുമായ സുരക്ഷാ ഗവേഷകനായ ബാർ ലാന്യാഡോ കണ്ടെത്തി. ChatGPT-യുടെ ശുപാർശയെ അടിസ്ഥാനമാക്കി പാക്കേജ് ഡൗൺലോഡ് ചെയ്യുന്ന ഏതൊരു ഡവലപ്പർക്കും അവരുടെ വികസന പരിതസ്ഥിതിയിൽ ക്ഷുദ്രവെയർ അവതരിപ്പിക്കുന്നത് അവസാനിപ്പിക്കാം.
ലാന്യാഡോയുടെ തുടർന്നുള്ള ഗവേഷണം GPT-3.5-Turbo, GPT-4, Gemini Pro (മുമ്പ് ബാർഡ്), കോറൽ (കോഹെരെ) എന്നിങ്ങനെ നാല് വ്യത്യസ്ത വലിയ ഭാഷാ മോഡലുകളിലുടനീളം പാക്കേജ് ഹാലൂസിനേഷൻ പ്രശ്നത്തിൻ്റെ വ്യാപനം പരിശോധിച്ചു. വ്യത്യസ്ത പ്രോഗ്രാമിംഗ് ഭാഷകളിലുടനീളം ഹാലുസിനേറ്റഡ് പാക്കേജുകൾ സൃഷ്ടിക്കുന്നതിനുള്ള ഓരോ മോഡലിൻ്റെയും പ്രോക്ലിവിറ്റിയും അവ ഒരേ ഹാലുസിനേറ്റഡ് പാക്കേജ് സൃഷ്ടിച്ച ആവൃത്തിയും അദ്ദേഹം പരീക്ഷിച്ചു.
പരീക്ഷണങ്ങൾക്കായി, വിവിധ പ്രോഗ്രാമിംഗ് പരിതസ്ഥിതികളിലെ ഡെവലപ്പർമാർ - പൈത്തൺ, നോഡ്.ജെഎസ്, ഗോ, .നെറ്റ്, റൂബി - - ഏറ്റവും സാധാരണയായി വികസന പരിതസ്ഥിതികളിൽ LLM-കളിൽ നിന്ന് സഹായം തേടുന്ന ആയിരക്കണക്കിന് "എങ്ങനെ" എന്ന ചോദ്യങ്ങളുടെ ഒരു ലിസ്റ്റ് Lanyado സമാഹരിച്ചു. ലാന്യാഡോ ഓരോ മോഡലിനും കോഡിംഗുമായി ബന്ധപ്പെട്ട ചോദ്യവും ചോദ്യവുമായി ബന്ധപ്പെട്ട ഒരു പാക്കേജിനുള്ള ശുപാർശയും ചോദിച്ചു. ഇതേ പ്രശ്നം പരിഹരിക്കാൻ ഓരോ മോഡലിനും 10 പാക്കേജുകൾ കൂടി ശുപാർശ ചെയ്യാനും അദ്ദേഹം ആവശ്യപ്പെട്ടു.
ആവർത്തിച്ചുള്ള ഫലങ്ങൾ
ഫലങ്ങൾ ആശങ്കാജനകമായിരുന്നു. ജെമിനിയുമായി ലന്യാഡോ നടത്തിയ "സംഭാഷണങ്ങളിൽ" 64.5% ഭ്രമാത്മക പാക്കേജുകൾ സൃഷ്ടിച്ചു. പവിഴത്തിൽ, ആ സംഖ്യ 29.1% ആയിരുന്നു; മറ്റ് LLM-കളായ GPT-4 (24.2%), GPT3.5 (22.5%) എന്നിവ മെച്ചമായില്ല.
ഒരേ പാക്കേജുകളെ മോഡലുകൾ എത്ര തവണ ഭ്രമിപ്പിക്കുമെന്ന് കാണാൻ ലാന്യാഡോ ഓരോ മോഡലിനും ഒരേ സെറ്റ് ചോദ്യങ്ങൾ 100 തവണ ചോദിച്ചപ്പോൾ, ആവർത്തന നിരക്കും പുരികം ഉയർത്തുന്നതായി അദ്ദേഹം കണ്ടെത്തി. ഉദാഹരണത്തിന്, കോഹെർ, 24% സമയത്തിലേറെയും ഒരേ ഹാലുസിനേറ്റഡ് പാക്കേജുകൾ പുറത്തെടുത്തു; GPT-3.5 ഉം ജെമിനി 14% ഉം GPT-4 20% ഉം ചാറ്റ് ചെയ്യുക. പല സന്ദർഭങ്ങളിലും, വ്യത്യസ്ത മോഡലുകൾ ഒരേ അല്ലെങ്കിൽ സമാന പാക്കേജുകളെ ഭ്രമിപ്പിച്ചു. GPT-3.5-നും ജെമിനിക്കും ഇടയിലാണ് ഇത്തരം ക്രോസ്-ഹാലൂസിനേറ്റഡ് മോഡലുകളുടെ ഏറ്റവും കൂടുതൽ എണ്ണം സംഭവിച്ചത്.
വ്യത്യസ്ത ഡെവലപ്പർമാർ ഒരേ വിഷയത്തിൽ ഒരു LLM-നോട് ഒരു ചോദ്യം ചോദിച്ചാലും ചോദ്യങ്ങൾ വ്യത്യസ്തമായി രൂപപ്പെടുത്തിയാലും, ഓരോ സാഹചര്യത്തിലും LLM ഒരേ ഹാലുസിനേറ്റഡ് പാക്കേജ് ശുപാർശ ചെയ്യാനുള്ള സാധ്യതയുണ്ടെന്ന് ലാന്യാഡോ പറയുന്നു. മറ്റൊരു വിധത്തിൽ പറഞ്ഞാൽ, കോഡിംഗ് സഹായത്തിനായി ഒരു LLM ഉപയോഗിക്കുന്ന ഏതൊരു ഡവലപ്പറും സമാനമായ ഹാലുസിനേറ്റഡ് പാക്കേജുകൾ നേരിടാൻ സാധ്യതയുണ്ട്.
"ചോദ്യം തികച്ചും വ്യത്യസ്തമായിരിക്കാം, പക്ഷേ സമാനമായ വിഷയത്തിൽ, ഭ്രമാത്മകത ഇപ്പോഴും സംഭവിക്കും, ഈ സാങ്കേതികവിദ്യ വളരെ ഫലപ്രദമാക്കുന്നു," ലാൻയാഡോ പറയുന്നു. "നിലവിലെ ഗവേഷണത്തിൽ, വ്യത്യസ്തമായ ചോദ്യങ്ങൾക്കും വിഷയങ്ങൾക്കും വ്യത്യസ്ത മോഡലുകളിലുടനീളം ഞങ്ങൾക്ക് 'ആവർത്തിച്ചുള്ള പാക്കേജുകൾ' ലഭിച്ചു, ഇത് ഈ ഹാലുസിനേറ്റഡ് പാക്കേജുകൾ ഉപയോഗിക്കാനുള്ള സാധ്യത വർദ്ധിപ്പിക്കുന്നു."
ചൂഷണം ചെയ്യാൻ എളുപ്പമാണ്
ഉദാഹരണത്തിന്, ഭ്രമാത്മകമായ ഏതാനും പാക്കേജുകളുടെ പേരുകളുള്ള ഒരു ആക്രമണകാരിക്ക്, ഒരു LLM ഡവലപ്പർമാരെ അതിലേക്ക് ചൂണ്ടിക്കാണിക്കാൻ നല്ല സാധ്യതയുണ്ടെന്ന് അറിഞ്ഞുകൊണ്ട്, അതേ പേരിലുള്ള പാക്കേജുകൾ ഉചിതമായ ശേഖരണങ്ങളിലേക്ക് അപ്‌ലോഡ് ചെയ്യാൻ കഴിയും. ഭീഷണി സൈദ്ധാന്തികമല്ലെന്ന് തെളിയിക്കാൻ, ലാന്യാഡോ തൻ്റെ പരീക്ഷണത്തിനിടെ നേരിട്ട "ഹഗ്ഗിംഗ്ഫേസ്-ക്ലി" എന്ന ഒരു ഹാലുസിനേറ്റഡ് പാക്കേജ് എടുത്ത് മെഷീൻ ലേണിംഗ് മോഡലുകൾക്കായുള്ള ഹഗ്ഗിംഗ് ഫേസ് റിപ്പോസിറ്ററിയിലേക്ക് അതേ പേരിൽ ഒരു ശൂന്യമായ പാക്കേജ് അപ്‌ലോഡ് ചെയ്തു. ഡെവലപ്പർമാർ ആ പാക്കേജ് 32,000 തവണ ഡൗൺലോഡ് ചെയ്തു, അദ്ദേഹം പറയുന്നു.
ഒരു ഭീഷണി നടൻ്റെ കാഴ്ചപ്പാടിൽ, പാക്കേജ് ഹാലൂസിനേഷനുകൾ ക്ഷുദ്രവെയർ വിതരണം ചെയ്യുന്നതിന് താരതമ്യേന നേരായ വെക്റ്റർ വാഗ്ദാനം ചെയ്യുന്നു. "ഗവേഷണ ഫലങ്ങളിൽ നിന്ന് ഞങ്ങൾ [കണ്ടത്], അത് അത്ര ബുദ്ധിമുട്ടുള്ള കാര്യമല്ല," അദ്ദേഹം പറയുന്നു. ശരാശരി, എല്ലാ മോഡലുകളും ഏകദേശം 35 ചോദ്യങ്ങൾക്ക് 48,000% ഭ്രമാത്മകമായി, ലന്യാഡോ കൂട്ടിച്ചേർക്കുന്നു. GPT-3.5 ന് ഹാലുസിനേഷനുകളുടെ ഏറ്റവും കുറഞ്ഞ ശതമാനം ഉണ്ടായിരുന്നു; നാല് മോഡലുകളിലും ശരാശരി 18% ആവർത്തനത്തോടെ ജെമിനി ഏറ്റവും ഉയർന്ന സ്കോർ നേടി, അദ്ദേഹം കുറിക്കുന്നു.
ഒരു LLM-ൽ നിന്നുള്ള പാക്കേജ് ശുപാർശകളിൽ പ്രവർത്തിക്കുമ്പോൾ അതിൻ്റെ കൃത്യതയെക്കുറിച്ച് പൂർണ്ണമായി ഉറപ്പില്ലാത്തപ്പോൾ ഡവലപ്പർമാർ ജാഗ്രത പാലിക്കണമെന്ന് Lanyado നിർദ്ദേശിക്കുന്നു. ഡെവലപ്പർമാർക്ക് പരിചിതമല്ലാത്ത ഒരു ഓപ്പൺ സോഴ്‌സ് പാക്കേജ് നേരിടേണ്ടിവരുമ്പോൾ അവർ പാക്കേജ് ശേഖരം സന്ദർശിച്ച് അതിൻ്റെ കമ്മ്യൂണിറ്റിയുടെ വലുപ്പം, അതിൻ്റെ മെയിൻ്റനൻസ് റെക്കോർഡുകൾ, അറിയപ്പെടുന്ന കേടുപാടുകൾ, മൊത്തത്തിലുള്ള ഇടപഴകൽ നിരക്ക് എന്നിവ പരിശോധിക്കേണ്ടതുണ്ടെന്നും അദ്ദേഹം പറയുന്നു. ഡവലപ്പർമാർ പാക്കേജ് വികസന പരിതസ്ഥിതിയിൽ അവതരിപ്പിക്കുന്നതിന് മുമ്പ് അത് നന്നായി സ്കാൻ ചെയ്യണം.
- SEO പവർ ചെയ്ത ഉള്ളടക്കവും PR വിതരണവും. ഇന്ന് ആംപ്ലിഫൈഡ് നേടുക.
- PlatoData.Network ലംബ ജനറേറ്റീവ് Ai. സ്വയം ശാക്തീകരിക്കുക. ഇവിടെ പ്രവേശിക്കുക.
- PlatoAiStream. Web3 ഇന്റലിജൻസ്. വിജ്ഞാനം വർധിപ്പിച്ചു. ഇവിടെ പ്രവേശിക്കുക.
- പ്ലേറ്റോഇഎസ്ജി. കാർബൺ, ക്ലീൻ ടെക്, ഊർജ്ജം, പരിസ്ഥിതി, സോളാർ, മാലിന്യ സംസ്കരണം. ഇവിടെ പ്രവേശിക്കുക.
- പ്ലേറ്റോ ഹെൽത്ത്. ബയോടെക് ആൻഡ് ക്ലിനിക്കൽ ട്രയൽസ് ഇന്റലിജൻസ്. ഇവിടെ പ്രവേശിക്കുക.
- അവലംബം: https://www.darkreading.com/application-security/pervasive-llm-hallucinations-expand-code-developer-attack-surface
