綿密 いくつかの大企業は、以前に生成 AI によって幻覚を与えられたソフトウェア パッケージを組み込んだソース コードを公開しました。
それだけでなく、この再発する幻覚を発見した誰かが、そのでっちあげの依存関係を本物の依存関係に変え、その後、AI の間違ったアドバイスの結果、開発者によって何千回もダウンロードされ、インストールされたことが分かりました。パッケージに無害なテストではなく、実際のマルウェアが含まれていた場合、結果は悲惨なものになっていた可能性があります。
Lasso Security のセキュリティ研究者である Bar Lanyado 氏によると、AI に騙されてこのパッケージを組み込んだ企業の 1 つが Alibaba であり、この記事の執筆時点ではまだ Alibaba が含まれています。 pip command Python パッケージをダウンロードするには huggingface-cli その中で グラフトランスレータ インストール手順。
合法的なものがある ハグフェイスクリを使用してインストールされました pip install -U "huggingface_hub[cli]".
しかし huggingface-cli Python Package Index (PyPI) 経由で配布され、Alibaba の GraphTranslator によって必要となります – を使用してインストールされます pip install huggingface-cli – は偽物であり、AI によって想像され、実験として Lanyado によって現実化されました。
彼が作成しました huggingface-cli 生成AIによって何度も幻覚を見られた後、12月に。今年 2 月までに、Alibaba は実際の Hugging Face CLI ツールではなく、GraphTranslator の README 手順でそれについて言及していました。
勉強
Lanyado がこれを行ったのは、この種の幻覚ソフトウェア パッケージ (おそらくプロジェクト開発中に生成 AI モデルによって発明されたパッケージ名) が時間の経過とともに存続するかどうかを調査し、発明されたパッケージ名が実際に作成して悪意のあるコードを配布するために利用され、使用されるかどうかをテストするためでした。 AI が考え出したコードの名前を使用するパッケージ。
ここでのアイデアは、誰かがモデルにコードのアドバイスを求め、AI システムが繰り返し推奨する想像上のパッケージをメモし、それらの依存関係を実装することで、他のプログラマーが同じモデルを使用して同じ提案を得たときに、最終的にそのパッケージを引き込むことができるというものです。これらのライブラリはマルウェアに汚染されている可能性があります。
昨年、セキュリティ会社Vulcan Cyberを通じて、Lanyado 公表 ChatGPT などの AI モデルにコーディングの質問を投げかけ、存在しないソフトウェア ライブラリ、パッケージ、またはフレームワークの使用を推奨する回答を受け取る方法を詳細に調査します。
「攻撃者がこのようなキャンペーンを実行する場合、コーディングの問題を解決するパッケージをモデルに要求し、存在しないパッケージを受け取ることになります」と Lanyado 氏は説明しました。 登録。 「彼は、同じ名前の悪意のあるパッケージを適切なレジストリにアップロードします。その後は、ユーザーがパッケージをダウンロードするのを待つだけです。」
危険な思い込み
AI モデルの自信を持った意欲 存在しない裁判例を引用する は今ではよく知られており、この傾向を知らない弁護士の間で少なからぬ当惑を引き起こしている。そして結局のところ、生成 AI モデルはソフトウェア パッケージに対しても同じことを行うことになります。
Lanyado が以前に指摘したように、悪者は他の人がマルウェアをダウンロードすることを期待して、あるリポジトリにアップロードされた悪意のあるパッケージに AI が発明した名前を使用する可能性があります。しかし、これが意味のある攻撃ベクトルとなるためには、AI モデルが採用された名前を繰り返し推奨する必要があります。
それが Lanyado がテストしようとしたことです。何千もの「ハウツー」質問を用意して、彼は 3.5 つの異なるプログラミング言語/ランタイム (Python、Python、 Node.js、Go、.Net、Ruby) があり、それぞれに独自のパッケージング システムがあります。
これらのチャットボットが何もないところから引き出した名前の一部は永続的であり、その一部は異なるモデルにわたって存在することが判明しました。そして、永続性、つまり偽名の繰り返しが、AI の奇抜な攻撃を機能的な攻撃に変える鍵となります。攻撃者は、ユーザーへの応答で幻覚パッケージの名前を繰り返す AI モデルを必要とし、その名前で作成されたマルウェアが検索されダウンロードされるようにします。
Lanyado は、ゼロショット幻覚について 20 の質問をランダムに選択し、各モデルに 100 回質問しました。彼の目標は、幻覚を見たパッケージ名がどのくらいの頻度で同じままであるかを評価することでした。彼のテストの結果、名前は、常にではないものの、機能的な攻撃ベクトルとなるのに十分なほど永続的であり、一部のパッケージング エコシステムでは他のパッケージング エコシステムよりも永続的であることが明らかになりました。
Lanyado氏によると、GPT-4を使用した場合、質問回答の24.2パーセントで幻覚パッケージが生成され、そのうち19.6パーセントが反復的だったという。提供されたテーブル 登録以下の、GPT-4 応答のより詳細な内訳を示します。
| Python | Node.JS | ルビー | .NET | Go | |
|---|---|---|---|---|---|
| 合計質問数 | 21340 | 13065 | 4544 | 5141 | 3713 |
| 少なくとも 1 つの幻覚パッケージを含む質問 | 5347（25％） | 2524（19.3％） | 1072（23.5％） | 1476 (28.7%) 悪用可能 1093 (21.2%) | 1150 (30.9%) 悪用可能 109 (2.9%) |
| ゼロショットの幻覚 | 1042（4.8％） | 200（1.5％） | 169（3.7％） | 211 (4.1%) 悪用可能 130 (2.5%) | 225 (6%) 悪用可能 14 (0.3%) |
| セカンドショットの幻覚 | 4532（21％） | 2390（18.3％） | 960（21.1％） | 1334 (25.9%) 悪用可能 1006 (19.5%) | 974 (26.2%) 悪用可能 98 (2.6%) |
| ゼロショットの繰り返し性 | 視聴者の３８%が | 視聴者の３８%が | 視聴者の３８%が | 視聴者の３８%が | – |
GPT-3.5 では、質問回答の 22.2 パーセントで幻覚が誘発され、反復性は 13.6 パーセントでした。双子座の場合、64.5 の質問で創作された名前が示され、そのうちの約 14 パーセントが繰り返されました。コヒアの場合、幻覚が 29.1 パーセント、反復が 24.2 パーセントでした。
それでも、Go と .Net のパッケージング エコシステムは、攻撃者による特定のパスと名前へのアクセスを拒否することで悪用の可能性を制限する方法で構築されています。
「Go と .Net では幻覚パッケージを受け取りましたが、その多くは攻撃に使用できませんでした (Go では、その数が .Net よりもはるかに重要でした)。それぞれの言語には独自の理由がありました」と Lanyado 氏は説明しました。 登録。 「Python と npm ではそうではありません。モデルは存在しないパッケージを推奨しており、これらの名前のパッケージをアップロードすることを妨げるものは何もないため、間違いなく、次のような言語に対してこの種の攻撃を実行する方がはるかに簡単です。 Python と Node.js。」
PoC マルウェアの播種
Lanyado は、概念実証用のマルウェア (Python エコシステム内の無害なファイルのセット) を配布することでその点を強調しました。 ChatGPTの実行アドバイスに基づいて pip install huggingface-cli、彼は同じ名前で空のパッケージを PyPI (上記のもの) にアップロードし、という名前のダミー パッケージを作成しました。 blabladsa123 パッケージ レジストリのスキャンを実際のダウンロード試行から分離するのに役立ちます。
その結果、と彼は主張する。 huggingface-cli は、提供開始から 15,000 か月間で XNUMX 件を超える本格的なダウンロードを受けました。
「さらに、このパッケージが他社のリポジトリ内で利用されているかどうかを確認するために、GitHub で検索を実施しました」と Lanyado 氏は述べています。 書き込み 彼の実験のために。
「私たちの調査結果では、いくつかの大企業がリポジトリでこのパッケージを使用または推奨していることが判明しました。たとえば、このパッケージのインストール手順は、アリババが実施した調査専用のリポジトリの README に記載されています。」
アリババはコメントの要求に応じなかった。
Lanyado 氏はまた、偽の huggingface-cli を組み込んだ Hugging Face 所有のプロジェクトがあったとも述べましたが、 除去された 彼が業界に警告した後。
少なくとも今のところ、Lanyado が把握している実際の攻撃ではこのテクニックは使用されていません。
「私たちの幻覚パッケージ（私たちのパッケージは悪意のあるものではなく、この手法を利用することがいかに簡単で危険かを示す一例に過ぎません）を除けば、悪意のある攻撃者によるこの攻撃手法の悪用を私はまだ特定していません」と彼は述べた。 「このような攻撃は足跡があまり残らないため、特定するのが難しいことに注意することが重要です。」 ®
- SEO を活用したコンテンツと PR 配信。 今日増幅されます。
- PlatoData.Network 垂直生成 Ai。 自分自身に力を与えましょう。 こちらからアクセスしてください。
- プラトアイストリーム。 Web3 インテリジェンス。 知識増幅。 こちらからアクセスしてください。
- プラトンESG。 カーボン、 クリーンテック、 エネルギー、 環境、 太陽、 廃棄物管理。 こちらからアクセスしてください。
- プラトンヘルス。 バイオテクノロジーと臨床試験のインテリジェンス。 こちらからアクセスしてください。
- 情報源： https://go.theregister.com/feed/www.theregister.com/2024/03/28/ai_bots_hallucinate_software_packages/
