ความฉลาดทางข้อมูลเชิงกำเนิด

โมเดลการรันโค้ดที่เป็นอันตรายมากกว่า 100 แบบบนใบหน้ากอด

วันที่:

นักวิจัยได้ค้นพบโมเดลแมชชีนเลิร์นนิง (ML) ที่เป็นอันตรายมากกว่า 100 โมเดลบนแพลตฟอร์ม Hugging Face AI ซึ่งสามารถทำให้ผู้โจมตีสามารถแทรกโค้ดที่เป็นอันตรายลงในเครื่องของผู้ใช้ได้

แม้ว่า Hugging Face จะใช้มาตรการรักษาความปลอดภัย แต่การค้นพบนี้เน้นย้ำถึงความเสี่ยงที่เพิ่มขึ้นของโมเดล "การใช้อาวุธ" ที่เปิดเผยต่อสาธารณะ เนื่องจากสามารถสร้างแบ็คดอร์สำหรับผู้โจมตีได้

การค้นพบโดย JFrog Security Research เป็นส่วนหนึ่งของการศึกษาที่กำลังดำเนินอยู่เพื่อวิเคราะห์ว่าแฮกเกอร์สามารถใช้ ML เพื่อโจมตีผู้ใช้ได้อย่างไร

เนื้อหาที่เป็นอันตราย

ตามบทความโดย การคำนวณนักวิจัยได้พัฒนาระบบการสแกนขั้นสูงเพื่อตรวจสอบแบบจำลองที่โฮสต์บนแพลตฟอร์ม Hugging Face AI เช่น PyTorch และ Tensorflow Keras

Hugging Face เป็นแพลตฟอร์มที่พัฒนาขึ้นเพื่อแชร์โมเดล AI ชุดข้อมูล และแอปพลิเคชัน เมื่อวิเคราะห์แบบจำลองต่างๆ นักวิจัยได้ค้นพบน้ำหนักบรรทุกที่เป็นอันตราย “ภายในแบบจำลองที่ดูเหมือนจะไม่มีอันตราย”

แม้ว่า Hugging Face จะใช้มาตรการรักษาความปลอดภัย เช่น การสแกนมัลแวร์และดองก็ตาม อย่างไรก็ตาม แพลตฟอร์มดังกล่าวไม่ได้จำกัดการดาวน์โหลดโมเดลที่อาจเป็นอันตราย และยังเปิดให้สาธารณชนเข้าถึงได้ โมเดล AI จะถูกทำร้ายและสร้างอาวุธโดยผู้ใช้

ในการตรวจสอบแพลตฟอร์มและโมเดลที่มีอยู่ นักวิจัยด้านความปลอดภัยของ JFrog ค้นพบโมเดล AI ประมาณ 100 โมเดลที่มีฟังก์ชันที่เป็นอันตราย ตามข้อมูลของพวกเขา รายงาน.

รายงานระบุว่าโมเดลเหล่านี้บางรุ่นสามารถรันโค้ดบนเครื่องของผู้ใช้ได้ “จึงสร้างแบ็คดอร์ถาวรสำหรับผู้โจมตี”

นักวิจัยยังระบุด้วยว่าการค้นพบดังกล่าวไม่รวมผลบวกลวง พวกเขากล่าวว่าสิ่งเหล่านี้เป็นตัวแทนที่ถูกต้องของความแพร่หลายของโมเดลที่เป็นอันตรายบนแพลตฟอร์ม

อ่านเพิ่มเติม: Apple เปลี่ยนเส้นทางทีมรถยนต์ไปสู่การชะลอตัวของตลาด AI หลัง EV

ตัวอย่าง

ตามรายงานของ JFrog หนึ่งในกรณีที่ “น่าตกใจ” เกี่ยวข้องกับก ไพทอร์ช แบบอย่าง. มีรายงานว่าโมเดลดังกล่าวถูกอัปโหลดโดยผู้ใช้ชื่อ “baller423” ซึ่งต่อมาถูกลบออกจากแพลตฟอร์ม Hugging Face

เมื่อพิจารณาแบบจำลองเพิ่มเติม นักวิจัยสังเกตเห็นว่ามันมีเพย์โหลดที่เป็นอันตราย ทำให้สามารถสร้าง Reverse Shell บนโฮสต์ที่ระบุได้ (210.117.212.93)

David Cohen นักวิจัยด้านความปลอดภัยอาวุโสของ JFrog กล่าวว่า “(มัน) เป็นการรบกวนและน่ารำคาญมากกว่า” อาจเป็นอันตรายเนื่องจากสร้างการเชื่อมต่อโดยตรงกับเซิร์ฟเวอร์ภายนอก ซึ่งบ่งชี้ถึงภัยคุกคามความปลอดภัยที่อาจเกิดขึ้น แทนที่จะเป็นเพียงการสาธิตถึงช่องโหว่” เขาเขียน

สิ่งนี้ใช้ประโยชน์จาก “วิธีการ '_reduce_' ของโมดูล Pickle ของ Python เพื่อรันโค้ดที่กำหนดเองเมื่อโหลดไฟล์โมเดล ซึ่งข้ามวิธีการตรวจจับแบบเดิมๆ ได้อย่างมีประสิทธิภาพ”

นักวิจัยยังรับรู้ว่าเพย์โหลดเดียวกันกำลังสร้างการเชื่อมต่อกับที่อยู่ IP ที่แตกต่างกัน “การแนะนำโอเปอเรเตอร์อาจเป็นนักวิจัยมากกว่าแฮกเกอร์ที่เป็นอันตราย”

โทรปลุก

ทีม JFrog ตั้งข้อสังเกตว่าการค้นพบนี้เป็นสัญญาณเตือนสำหรับ Hugging Face โดยแสดงให้เห็นว่าแพลตฟอร์มของมันมีแนวโน้มที่จะถูกยักยอกและภัยคุกคามที่อาจเกิดขึ้น

“เหตุการณ์เหล่านี้ทำหน้าที่เป็นเครื่องเตือนใจอันเจ็บปวดถึงภัยคุกคามที่กำลังเผชิญกับพื้นที่เก็บข้อมูล Hugging Face และพื้นที่เก็บข้อมูลยอดนิยมอื่น ๆ เช่น Kaggle ซึ่งอาจส่งผลต่อความเป็นส่วนตัวและความปลอดภัยขององค์กรที่ใช้ทรัพยากรเหล่านี้ นอกเหนือจากการสร้างความท้าทายสำหรับวิศวกร AI/ML” กล่าว นักวิจัย

สิ่งนี้มาเป็น ภัยคุกคามความปลอดภัยทางไซเบอร์ ทั่วโลกมีจำนวนเพิ่มมากขึ้น โดยได้รับแรงหนุนจากการแพร่กระจายของเครื่องมือ AI โดยมีผู้ไม่ประสงค์ดีใช้พวกเขาในทางที่ผิดโดยมีเจตนาร้าย แฮกเกอร์ยังใช้ AI เพื่อพัฒนาการโจมตีแบบฟิชชิ่งและหลอกผู้คน

อย่างไรก็ตาม ทีม JFrog ยังได้ค้นพบสิ่งอื่นอีก

สนามเด็กเล่นสำหรับนักวิจัย

นอกจากนี้นักวิจัยยังได้ตั้งข้อสังเกตอีกว่า กอดหน้า ได้พัฒนาเป็นสนามเด็กเล่นสำหรับนักวิจัย “ที่ต้องการต่อสู้กับภัยคุกคามที่เกิดขึ้นใหม่ ดังที่เห็นได้จากกลยุทธ์ที่หลากหลายเพื่อหลีกเลี่ยงมาตรการรักษาความปลอดภัย”

ตัวอย่างเช่น เพย์โหลดที่อัปโหลดโดย "baller423" เริ่มต้นการเชื่อมต่อเชลล์แบบย้อนกลับไปยังช่วงที่อยู่ IP ที่เป็นของ Kreonet (Korea Research Environment Open Network)

ตามที่ การอ่านมืด, Kreonet เป็นเครือข่ายความเร็วสูงในเกาหลีใต้ที่สนับสนุนกิจกรรมการวิจัยและการศึกษาขั้นสูง “ดังนั้นจึงเป็นไปได้ที่นักวิจัยหรือผู้ปฏิบัติงานด้าน AI อาจอยู่เบื้องหลังโมเดลนี้”

“เราจะเห็นได้ว่าเพย์โหลดที่ 'เป็นอันตราย' ส่วนใหญ่เป็นความพยายามของนักวิจัยและ/หรือรางวัลบั๊กเพื่อรับการเรียกใช้โค้ดเพื่อวัตถุประสงค์ที่ดูเหมือนถูกต้องตามกฎหมาย” โคเฮนกล่าว

แม้จะมีวัตถุประสงค์ที่ถูกต้องตามกฎหมาย แต่ทีมงาน JFrog ก็ได้เตือนว่ากลยุทธ์ที่นักวิจัยใช้แสดงให้เห็นอย่างชัดเจนว่าแพลตฟอร์มอย่าง Hugging Face นั้นเปิดรับการโจมตีในห่วงโซ่อุปทาน ทีมงานระบุว่าสิ่งเหล่านี้สามารถปรับแต่งให้มุ่งเน้นไปที่กลุ่มประชากรเฉพาะ เช่น วิศวกร AI หรือ ML

จุด_img

ข่าวกรองล่าสุด

จุด_img