Derinlemesine Birçok büyük işletme, daha önce üretken yapay zeka tarafından hayal edilen bir yazılım paketini içeren kaynak kodunu yayınladı.

Not only that but someone, having spotted this reoccurring hallucination, had turned that made-up dependency into a real one, which was subsequently downloaded and installed thousands of times by developers as a result of the AI’s bad advice, we’ve learned. If the package was laced with actual malware, rather than being a benign test, the results could have been disastrous.

Lasso Security'deki güvenlik araştırmacısı Bar Lanyado'ya göre, yapay zeka tarafından paketi bünyesine katmak için kandırılan işletmelerden biri de Alibaba'dır ve bu yazının yazıldığı sırada hala bir güvenlik önlemi içermektedir. pip komuta Python paketini indirmek için huggingface-cli onun içinde Grafik Çevirmeni Kurulum Talimatları.

Yasal bir durum var sarılma yüz-cli, kullanılarak yüklendi pip install -U "huggingface_hub[cli]".

Ancak huggingface-cli Python Paket Dizini (PyPI) aracılığıyla dağıtılır ve Alibaba'nın GraphTranslator'ı tarafından gerekli kılınır; pip install huggingface-cli – sahtedir, yapay zeka tarafından hayal edilmiştir ve Lanyado tarafından bir deney olarak gerçeğe dönüştürülmüştür.

O yarattı huggingface-cli Aralık ayında üretken yapay zeka tarafından defalarca halüsinasyon gördüğünü gördükten sonra; Bu yılın Şubat ayına gelindiğinde Alibaba, gerçek Hugging Face CLI aracı yerine GraphTranslator'ın README talimatlarında bundan bahsediyordu.

Ders çalışma

Lanyado bunu, bu tür halüsinasyonlu yazılım paketlerinin (üretken yapay zeka modelleri tarafından icat edilen paket adları, muhtemelen proje geliştirme sırasında icat edildi) zaman içinde devam edip etmediğini araştırmak ve icat edilen paket adlarının birlikte seçilip kötü amaçlı kod dağıtmak için kullanılıp kullanılamayacağını test etmek için yaptı. AI'lar tarafından tasarlanan kod adlarını kullanan paketler.

Buradaki fikir, hain birisinin modellerden kod tavsiyesi isteyebilmesi, yapay zeka sistemlerinin tekrar tekrar önerdiği hayali paketleri not edebilmesi ve daha sonra bu bağımlılıkları uygulayabilmesi ve böylece diğer programcıların aynı modelleri kullanırken ve aynı önerileri alırken sonunda devreye girmesidir. Kötü amaçlı yazılımlarla zehirlenmiş olabilecek kütüphaneler.

Geçen yıl, Lanyado güvenlik firması Vulcan Cyber ​​aracılığıyla yayınlanan ChatGPT gibi bir yapay zeka modeline nasıl bir kodlama sorusu sorulabileceğini ve var olmayan bir yazılım kütüphanesinin, paketinin veya çerçevesinin kullanılmasını öneren bir yanıt alınabileceğini ayrıntılarıyla araştırın.

Lanyado, "Bir saldırgan böyle bir kampanya yürüttüğünde, modelden bir kodlama sorununu çözen paketler isteyecek, ardından var olmayan bazı paketler alacaktır" dedi. Kayıt. "Aynı adlara sahip kötü amaçlı paketleri uygun kayıtlara yükleyecek ve bu noktadan sonra yapması gereken tek şey insanların paketleri indirmesini beklemek."

Tehlikeli varsayımlar

Yapay zeka modellerinin güvenle hareket etme istekliliği var olmayan davalardan bahsetmek artık çok iyi biliniyor ve bu eğilimin farkında olmayan avukatlar arasında hiç de azımsanmayacak bir utanç yarattı. Görünen o ki, üretken yapay zeka modelleri yazılım paketleri için de aynısını yapacak.

Lanyado'nun daha önce belirttiği gibi, kötü niyetli bir kişi, başkalarının kötü amaçlı yazılımı indirebileceği umuduyla bazı depolara yüklenen kötü amaçlı bir paket için yapay zeka tarafından icat edilen bir adı kullanabilir. Ancak bunun anlamlı bir saldırı vektörü olabilmesi için yapay zeka modellerinin seçilen adı tekrar tekrar önermesi gerekir.

That’s what Lanyado set out to test. Armed with thousands of “how to” questions, he queried four AI models (GPT-3.5-Turbo, GPT-4, Gemini Pro aka Bard, and Coral [Cohere]) regarding programming challenges in five different programming languages/runtimes (Python, Node.js, Go, .Net, and Ruby), each of which has its own packaging system.

Bu sohbet robotlarının yoktan var ettiği isimlerin bir kısmının kalıcı olduğu ve bazılarının farklı modellerde olduğu ortaya çıktı. Kalıcılık (sahte ismin tekrarı), yapay zekanın tuhaflığını işlevsel bir saldırıya dönüştürmenin anahtarıdır. Saldırganın, aranacak ve indirilecek kötü amaçlı yazılımlara yönelik kullanıcılara verdiği yanıtlarda halüsinasyonlu paketlerin adlarını tekrarlaması için yapay zeka modeline ihtiyacı var.

Lanyado, sıfır atışlı halüsinasyonlar için rastgele 20 soru seçti ve bunları her modele 100 kez sordu. Amacı, halüsinasyon gören paket adının ne sıklıkla aynı kaldığını değerlendirmekti. Testinin sonuçları, isimlerin her zaman olmasa da işlevsel bir saldırı vektörü olacak kadar sıklıkla kalıcı olduğunu ve bazı ambalaj ekosistemlerinde diğerlerinden daha fazla olduğunu ortaya koyuyor.

Lanyado'ya göre GPT-4'te soru yanıtlarının yüzde 24.2'si halüsinasyonlu paketler üretti ve bunların yüzde 19.6'sı tekrarlıydı. Verilen bir masa KayıtAşağıda GPT-4 yanıtlarının daha ayrıntılı bir dökümü gösterilmektedir.

GPT-3.5'te soru yanıtlarının yüzde 22.2'si halüsinasyonlara, yüzde 13.6'sı ise tekrarlara neden oldu. İkizler burcu için soruların 64.5'i icat edilmiş isimler içeriyordu ve bunların yaklaşık yüzde 14'ü tekrar ediyordu. Ve Cohere için bu yüzde 29.1 halüsinasyon, yüzde 24.2 tekrardı.

Yine de Go ve .Net'teki paketleme ekosistemleri, saldırganların belirli yollara ve adlara erişimini engelleyerek istismar potansiyelini sınırlayacak şekilde inşa edilmiştir.

Lanyado şöyle açıkladı: "Go ve .Net'te halüsinasyonlu paketler aldık ancak bunların çoğu saldırı için kullanılamadı (Go'da sayılar .Net'e göre çok daha anlamlıydı), her dilin kendi nedeni vardı." Kayıt. “Python ve npm'de durum böyle değil, çünkü model bize var olmayan paketler öneriyor ve hiçbir şey bu adlara sahip paketleri yüklememizi engellemiyor, dolayısıyla bu tür saldırıları aşağıdaki gibi dillere gerçekleştirmek kesinlikle çok daha kolaydır: Python ve Node.js.”

PoC kötü amaçlı yazılımlarını yayma

Lanyado, Python ekosistemindeki zararsız bir dosya kümesi olan kavram kanıtı niteliğindeki kötü amaçlı yazılımları dağıtarak bu noktaya değindi. ChatGPT'nin çalıştırma tavsiyesine dayanarak pip install huggingface-cli, PyPI'ye (yukarıda bahsedilen) aynı isim altında boş bir paket yükledi ve adında sahte bir paket oluşturdu. blabladsa123 Paket kayıt defteri taramasını gerçek indirme girişimlerinden ayırmaya yardımcı olmak için.

İddiasına göre sonuç şu: huggingface-cli kullanıma sunulduğu üç ayda 15,000'den fazla orijinal indirme aldı.

Lanyado, "Ayrıca, bu paketin diğer şirketlerin veri havuzlarında kullanılıp kullanılmadığını belirlemek için GitHub'da bir araştırma yaptık" dedi. yazma onun deneyi için.

"Bulgularımız, birçok büyük şirketin bu paketi depolarında kullandığını veya önerdiğini ortaya çıkardı. Örneğin, bu paketin kurulumuna ilişkin talimatlar, Alibaba tarafından yürütülen araştırmalara ayrılmış bir veri havuzunun README dosyasında bulunabilir.”

Alibaba yorum talebine cevap vermedi.

Lanyado ayrıca, sahte sarılma yüzü-cli'yi içeren Hugging Face'e ait bir proje olduğunu da söyledi. uzaklaştırılmıştır biz'i uyardıktan sonra.

En azından şu ana kadar bu teknik Lanyado'nun bildiği gerçek bir saldırıda kullanılmadı.

"Halüsinasyonlu paketimizin yanı sıra (paketimiz kötü amaçlı değil, sadece bu tekniği kullanmanın ne kadar kolay ve tehlikeli olabileceğinin bir örneğidir), henüz bu saldırı tekniğinin kötü niyetli aktörler tarafından istismar edildiğini tespit etmedim" dedi. "Çok fazla ayak izi bırakmadığı için böyle bir saldırıyı tanımlamanın karmaşık olduğunu belirtmek önemlidir." ®

• SEO Destekli İçerik ve Halkla İlişkiler Dağıtımı. Bugün Gücünüzü Artırın.
• PlatoData.Network Dikey Üretken Yapay Zeka. Kendine güç ver. Buradan Erişin.
• PlatoAiStream. Web3 Zekası. Bilgi Genişletildi. Buradan Erişin.
• PlatoESG. karbon, temiz teknoloji, Enerji, Çevre, Güneş, Atık Yönetimi. Buradan Erişin.
• PlatoSağlık. Biyoteknoloji ve Klinik Araştırmalar Zekası. Buradan Erişin.
• Kaynak: https://go.theregister.com/feed/www.theregister.com/2024/03/28/ai_bots_hallucinate_software_packages/