Σε βάθος Αρκετές μεγάλες επιχειρήσεις έχουν δημοσιεύσει τον πηγαίο κώδικα που ενσωματώνει ένα πακέτο λογισμικού που προηγουμένως είχε παραισθήσεις από γενετική τεχνητή νοημοσύνη.

Και όχι μόνο αυτό, αλλά κάποιος, έχοντας εντοπίσει αυτήν την επαναλαμβανόμενη ψευδαίσθηση, είχε μετατρέψει αυτήν την κατασκευασμένη εξάρτηση σε πραγματική, η οποία στη συνέχεια κατέβηκε και εγκαταστάθηκε χιλιάδες φορές από προγραμματιστές ως αποτέλεσμα των κακών συμβουλών του AI, μάθαμε. Εάν το πακέτο ήταν γεμάτο με πραγματικό κακόβουλο λογισμικό, αντί να είναι μια καλοήθης δοκιμή, τα αποτελέσματα θα μπορούσαν να ήταν καταστροφικά.

Σύμφωνα με τον Bar Lanyado, ερευνητή ασφάλειας στο Lasso Security, μία από τις επιχειρήσεις που ξεγελάστηκαν από την τεχνητή νοημοσύνη για να ενσωματώσουν το πακέτο είναι η Alibaba, η οποία κατά τη στιγμή της γραφής εξακολουθεί να περιλαμβάνει ένα pip εντολή για να κατεβάσετε το πακέτο Python huggingface-cli σε του GraphTranslator Οδηγίες Εγκατάστασης.

Υπάρχει ένα νόμιμο αγκάλιασμα-κλι, εγκατεστημένο με χρήση pip install -U "huggingface_hub[cli]".

Αλλά η huggingface-cli διανέμεται μέσω του Ευρετηρίου Πακέτων Python (PyPI) και απαιτείται από το GraphTranslator της Alibaba – εγκατεστημένο με χρήση pip install huggingface-cli – είναι ψεύτικο, φαντάστηκε από AI και έγινε πραγματικό από τον Lanyado ως πείραμα.

Αυτός δημιούργησε huggingface-cli τον Δεκέμβριο αφού το είδαμε επανειλημμένα να έχει παραισθήσεις από γενετική τεχνητή νοημοσύνη. Μέχρι τον Φεβρουάριο του τρέχοντος έτους, η Alibaba αναφερόταν σε αυτό στις οδηγίες README του GraphTranslator και όχι στο πραγματικό εργαλείο Hugging Face CLI.

Μελέτη

Ο Lanyado το έκανε για να διερευνήσει εάν αυτά τα είδη πακέτων λογισμικού με ψευδαισθήσεις - ονόματα πακέτων που εφευρέθηκαν από παραγωγικά μοντέλα τεχνητής νοημοσύνης, πιθανώς κατά την ανάπτυξη του έργου - επιμένουν με την πάροδο του χρόνου και για να ελέγξει εάν τα ονόματα πακέτων που επινοήθηκαν θα μπορούσαν να επιλεγούν και να χρησιμοποιηθούν για τη διανομή κακόβουλου κώδικα γράφοντας πραγματικό πακέτα που χρησιμοποιούν τα ονόματα του κώδικα που ονειρεύονται οι AI.

Η ιδέα εδώ είναι ότι κάποιος κακόβουλος θα μπορούσε να ζητήσει συμβουλές κώδικα από μοντέλα, να σημειώσει τα φανταστικά πακέτα που προτείνουν επανειλημμένα τα συστήματα AI και στη συνέχεια να εφαρμόσει αυτές τις εξαρτήσεις, έτσι ώστε άλλοι προγραμματιστές, όταν χρησιμοποιούν τα ίδια μοντέλα και λαμβάνουν τις ίδιες προτάσεις, να καταλήξουν αυτές οι βιβλιοθήκες, που μπορεί να είναι δηλητηριασμένες με κακόβουλο λογισμικό.

Πέρυσι, μέσω της εταιρείας ασφαλείας Vulcan Cyber, Lanyado δημοσιεύθηκε έρευνα που περιγράφει λεπτομερώς πώς μπορεί κανείς να θέσει μια ερώτηση κωδικοποίησης σε ένα μοντέλο τεχνητής νοημοσύνης όπως το ChatGPT και να λάβει μια απάντηση που συνιστά τη χρήση μιας βιβλιοθήκης, πακέτου ή πλαισίου λογισμικού που δεν υπάρχει.

«Όταν ένας εισβολέας εκτελεί μια τέτοια καμπάνια, θα ζητήσει από το μοντέλο πακέτα που λύνουν ένα πρόβλημα κωδικοποίησης και μετά θα λάβει κάποια πακέτα που δεν υπάρχουν», εξήγησε ο Lanyado. Το μητρώο. «Θα ανεβάσει κακόβουλα πακέτα με τα ίδια ονόματα στα κατάλληλα μητρώα και από εκείνο το σημείο και μετά, το μόνο που έχει να κάνει είναι να περιμένει τους χρήστες να κατεβάσουν τα πακέτα».

Επικίνδυνες υποθέσεις

Η προθυμία των μοντέλων AI για αυτοπεποίθηση αναφέρουν ανύπαρκτες δικαστικές υποθέσεις είναι πλέον πολύ γνωστό και έχει προκαλέσει αμηχανία στους δικηγόρους που δεν γνωρίζουν αυτή την τάση. Και όπως αποδεικνύεται, τα μοντέλα παραγωγής τεχνητής νοημοσύνης θα κάνουν το ίδιο για πακέτα λογισμικού.

Όπως σημείωσε προηγουμένως ο Lanyado, ένας παραβάτης μπορεί να χρησιμοποιήσει ένα όνομα που επινοήθηκε από την τεχνητή νοημοσύνη για ένα κακόβουλο πακέτο που έχει ανέβει σε κάποιο αποθετήριο με την ελπίδα ότι άλλοι θα μπορούσαν να κατεβάσουν το κακόβουλο λογισμικό. Αλλά για να είναι ένας σημαντικός φορέας επίθεσης, τα μοντέλα τεχνητής νοημοσύνης θα πρέπει να προτείνουν επανειλημμένα το επιλεγμένο όνομα.

Αυτό ξεκίνησε να δοκιμάσει ο Lanyado. Οπλισμένος με χιλιάδες ερωτήσεις «πώς να», ρώτησε τέσσερα μοντέλα AI (GPT-3.5-Turbo, GPT-4, Gemini Pro aka Bard και Coral [Cohere]) σχετικά με τις προκλήσεις προγραμματισμού σε πέντε διαφορετικές γλώσσες προγραμματισμού/χρόνους εκτέλεσης (Python, Node.js, Go, .Net και Ruby), καθένα από τα οποία έχει το δικό του σύστημα συσκευασίας.

Αποδεικνύεται ότι ένα μέρος των ονομάτων που βγάζουν αυτά τα chatbots είναι επίμονα, μερικά σε διαφορετικά μοντέλα. Και η επιμονή – η επανάληψη του πλαστού ονόματος – είναι το κλειδί για να μετατραπεί η ιδιοτροπία της τεχνητής νοημοσύνης σε λειτουργική επίθεση. Ο εισβολέας χρειάζεται το μοντέλο τεχνητής νοημοσύνης να επαναλαμβάνει τα ονόματα πακέτων με παραισθήσεις στις απαντήσεις του στους χρήστες για αναζήτηση και λήψη κακόβουλου λογισμικού που δημιουργήθηκε με αυτά τα ονόματα.

Ο Lanyado επέλεξε 20 ερωτήσεις τυχαία για παραισθήσεις μηδενικής λήψης και τις έθεσε 100 φορές σε κάθε μοντέλο. Στόχος του ήταν να αξιολογήσει πόσο συχνά το όνομα του πακέτου με παραισθήσεις παρέμενε το ίδιο. Τα αποτελέσματα της δοκιμής του αποκαλύπτουν ότι τα ονόματα είναι αρκετά συχνά επίμονα ώστε αυτό να είναι ένας λειτουργικός φορέας επίθεσης, αν και όχι συνεχώς, και σε ορισμένα οικοσυστήματα συσκευασίας περισσότερο από άλλα.

Με το GPT-4, το 24.2 τοις εκατό των απαντήσεων σε ερωτήσεις παρήγαγαν πακέτα με παραισθήσεις, εκ των οποίων το 19.6 τοις εκατό ήταν επαναλαμβανόμενα, σύμφωνα με τον Lanyado. Ένα τραπέζι που παρέχεται σε Το μητρώο, παρακάτω, δείχνει μια πιο λεπτομερή ανάλυση των αποκρίσεων GPT-4.

Με το GPT-3.5, το 22.2 τοις εκατό των απαντήσεων στις ερωτήσεις προκάλεσαν παραισθήσεις, με το 13.6 τοις εκατό επαναληπτικότητα. Για τους Διδύμους, 64.5 ερωτήσεις έφεραν επινοημένα ονόματα, περίπου το 14% των οποίων επαναλαμβανόταν. Και για τον Cohere, ήταν 29.1 τοις εκατό ψευδαίσθηση, 24.2 τοις εκατό επανάληψη.

Παρόλα αυτά, τα οικοσυστήματα συσκευασίας στο Go και στο .Net έχουν δημιουργηθεί με τρόπους που περιορίζουν τη δυνατότητα εκμετάλλευσης, απαγορεύοντας στους εισβολείς την πρόσβαση σε ορισμένα μονοπάτια και ονόματα.

«Στο Go και το .Net λάβαμε πακέτα με παραισθήσεις, αλλά πολλά από αυτά δεν μπορούσαν να χρησιμοποιηθούν για επίθεση (στο Go οι αριθμοί ήταν πολύ πιο σημαντικοί από ό,τι στο .Net), κάθε γλώσσα για τον δικό της λόγο», εξήγησε ο Lanyado στο Το μητρώο. «Στην Python και το npm δεν ισχύει, καθώς το μοντέλο μας προτείνει με πακέτα που δεν υπάρχουν και τίποτα δεν μας εμποδίζει να ανεβάσουμε πακέτα με αυτά τα ονόματα, οπότε σίγουρα είναι πολύ πιο εύκολο να εκτελέσουμε αυτού του είδους την επίθεση σε γλώσσες όπως π. Python και Node.js."

Σπορά κακόβουλου λογισμικού PoC

Ο Lanyado έκανε αυτό το σημείο διανέμοντας κακόβουλο λογισμικό απόδειξης της ιδέας - ένα αβλαβές σύνολο αρχείων στο οικοσύστημα της Python. Με βάση τη συμβουλή του ChatGPT για εκτέλεση pip install huggingface-cli, ανέβασε ένα κενό πακέτο με το ίδιο όνομα στο PyPI – αυτό που αναφέρθηκε παραπάνω – και δημιούργησε ένα εικονικό πακέτο με το όνομα blabladsa123 για να διαχωρίσετε τη σάρωση μητρώου πακέτων από τις πραγματικές προσπάθειες λήψης.

Το αποτέλεσμα, υποστηρίζει, είναι αυτό huggingface-cli έλαβε περισσότερες από 15,000 αυθεντικές λήψεις στους τρεις μήνες που ήταν διαθέσιμο.

"Επιπλέον, πραγματοποιήσαμε μια έρευνα στο GitHub για να προσδιορίσουμε εάν αυτό το πακέτο χρησιμοποιήθηκε σε αποθετήρια άλλων εταιρειών", δήλωσε ο Lanyado στο η εγγραφή για το πείραμά του.

«Τα ευρήματά μας αποκάλυψαν ότι αρκετές μεγάλες εταιρείες είτε χρησιμοποιούν είτε συνιστούν αυτό το πακέτο στα αποθετήρια τους. Για παράδειγμα, οδηγίες για την εγκατάσταση αυτού του πακέτου βρίσκονται στο README ενός αποθετηρίου αφιερωμένου στην έρευνα που διεξάγεται από την Alibaba.

Η Alibaba δεν απάντησε σε αίτημα για σχολιασμό.

Ο Lanyado είπε επίσης ότι υπήρχε ένα έργο που ανήκει στο Hugging Face που ενσωμάτωσε το ψεύτικο huggingface-cli, αλλά ότι αφαιρέθηκε αφού ειδοποίησε τον μπιζ.

Μέχρι στιγμής τουλάχιστον, αυτή η τεχνική δεν έχει χρησιμοποιηθεί σε μια πραγματική επίθεση που γνωρίζει ο Lanyado.

"Εκτός από το πακέτο παραισθήσεων μας (το πακέτο μας δεν είναι κακόβουλο, είναι απλώς ένα παράδειγμα του πόσο εύκολο και επικίνδυνο θα μπορούσε να είναι η μόχλευση αυτής της τεχνικής), δεν έχω ακόμη εντοπίσει μια εκμετάλλευση αυτής της τεχνικής επίθεσης από κακόβουλους παράγοντες", είπε. «Είναι σημαντικό να σημειωθεί ότι είναι πολύπλοκο να αναγνωρίσεις μια τέτοια επίθεση, καθώς δεν αφήνει πολλά βήματα». ®

• SEO Powered Content & PR Distribution. Ενισχύστε σήμερα.
• PlatoData.Network Vertical Generative Ai. Ενδυναμώστε τον εαυτό σας. Πρόσβαση εδώ.
• PlatoAiStream. Web3 Intelligence. Ενισχύθηκε η γνώση. Πρόσβαση εδώ.
• PlatoESG. Ανθρακας, Cleantech, Ενέργεια, Περιβάλλον, Ηλιακός, Διαχείριση των αποβλήτων. Πρόσβαση εδώ.
• PlatoHealth. Ευφυΐα βιοτεχνολογίας και κλινικών δοκιμών. Πρόσβαση εδώ.
• πηγή: https://go.theregister.com/feed/www.theregister.com/2024/03/28/ai_bots_hallucinate_software_packages/