Die erstaunliche Fähigkeit der generativen KI, visuelle Bilder zu erstellen, wird immer besser Einfacher zugänglichDa ihre Modelle jedoch auf riesigen Bibliotheken bestehender Kunst basieren, suchen Künstler verzweifelt nach Möglichkeiten, um zu verhindern, dass ihre Werke ohne ihre Erlaubnis geraubt werden. Ein neues Tool mit dem ominösen Namen Nightshade könnte die Antwort sein.
Der Trick besteht darin, optimierte, aufforderungsspezifische „Datenvergiftungsangriffe“ zu verwenden, die die zum Training von KI-Modellen erforderlichen Daten beschädigen, wenn sie in einen Bildgenerator eingespeist werden.
„Vergiftungen sind seit Jahren ein bekannter Angriffsvektor in Modellen des maschinellen Lernens“, sagte Professor Ben Zhao Entschlüsseln. „Nightshade ist nicht interessant, weil es eine Vergiftung bewirkt, sondern weil es generative KI-Modelle vergiftet, was niemand für möglich gehalten hätte, weil diese Modelle so groß sind.“
Die Bekämpfung von Diebstahl geistigen Eigentums und KI-Deepfakes ist von entscheidender Bedeutung, seit generative KI-Modelle in diesem Jahr in den Mainstream kamen. Im Juli schlug ein Forscherteam des MIT einen ähnlichen Vorschlag vor injizieren kleine Codefragmente, die dazu führen würden, dass das Bild verzerrt und unbrauchbar wird.
Generative KI bezieht sich auf KI-Modelle, die Eingabeaufforderungen verwenden, um Text, Bilder, Musik oder Videos zu generieren. Google, Amazon, Microsoft und Meta haben alle stark in die Bereitstellung generativer KI-Tools für Verbraucher investiert.
Wie Zhao erklärte, umgeht Nightshade das Problem der großen Datensätze eines KI-Modells, indem es auf die Eingabeaufforderung abzielt – zum Beispiel Anfragen, ein Bild eines Drachen, Hundes oder Pferdes zu erstellen.
„Es macht keinen Sinn, das gesamte Modell anzugreifen“, sagte Zhao. „Was Sie angreifen wollen, sind einzelne Eingabeaufforderungen, die das Modell schwächen und es daran hindern, Kunst zu generieren.“
Um einer Entdeckung zu entgehen, erklärt das Forschungsteam, müssen Text und Bild in den verfälschten Daten so gestaltet sein, dass sie natürlich wirken und sowohl automatische Ausrichtungsdetektoren als auch menschliche Prüfer täuschen, um den beabsichtigten Effekt zu erzielen.
Obwohl der giftige Nightshade-Datensatz lediglich ein Proof of Concept ist, sagte Zhao, dass der einfachste Weg, ein KI-Modell wie Stable Diffusion zu täuschen und zu glauben, eine Katze sei ein Hund, darin bestehe, einfach ein paar hundert Bilder einer Katze fälschlicherweise als Hund zu bezeichnen.
Auch ohne jegliche Koordination könnten Künstler damit beginnen, diese Giftpillen massenhaft einzusetzen, was zum Zusammenbruch des KI-Modells führen könnte.
„Sobald genügend Angriffe auf dasselbe Modell aktiv werden, wird das Modell wertlos“, sagte Zhao. „Mit wertlos meine ich, wenn man ihm Dinge gibt wie ‚Gib mir ein Gemälde‘, und am Ende kommt etwas heraus, das wie ein Kaleidoskop aus Pixeln aussieht. Das Modell wird praktisch auf die Version eines Zufallspixelgenerators heruntergestuft.“
Zhao sagte, dass Nightshade keine Maßnahmen gegen den KI-Bildgenerator selbst erfordert, sondern wirksam wird, wenn das KI-Modell versucht, die Daten zu verbrauchen, in die Nightshade einbezogen wurde.
„Es schadet ihnen nichts, es sei denn, sie nehmen diese Bilder auf und fügen sie in die Trainingsdaten ein“, sagte er und nannte es weniger einen Angriff als vielmehr eine Art Selbstverteidigung oder einen Stacheldrahtzaun mit Giftspitzen, der sich an KI-Entwickler richtet, die dies nicht tun Respektieren Sie Opt-out-Anfragen und Do-Not-Scrape-Richtlinien.
„Dies soll dieses Problem lösen“, sagte Zhao. „Also hatten wir diesen Stacheldrahtstich mit etwas Gift. Wenn du nicht herumrennst und dieses Zeug überall erwischst, wirst du nicht leiden.“
Herausgegeben von Ryan Ozawa.
Bleiben Sie über Krypto-News auf dem Laufenden und erhalten Sie tägliche Updates in Ihrem Posteingang.
- SEO-gestützte Content- und PR-Distribution. Holen Sie sich noch heute Verstärkung.
- PlatoData.Network Vertikale generative KI. Motiviere dich selbst. Hier zugreifen.
- PlatoAiStream. Web3-Intelligenz. Wissen verstärkt. Hier zugreifen.
- PlatoESG. Kohlenstoff, CleanTech, Energie, Umwelt, Solar, Abfallwirtschaft. Hier zugreifen.
- PlatoHealth. Informationen zu Biotechnologie und klinischen Studien. Hier zugreifen.
- Quelle: https://decrypt.co/203153/ai-prompt-data-poisoning-nightshared
