Polisen i Baltimore har gripit Dazhon Leslie Darien, den tidigare atletiska chefen för Pikesville High School (PHS), för att ha utgett sig för att vara skolans rektor med hjälp av AI-programvara för att få det att verka som om han gjorde rasistiska och antisemitiska kommentarer.

Darien från Baltimore, Maryland, åtalades därefter för vittnesvedergällning, förföljelse, stöld och störande av skolverksamheten. Han greps sent på natten när han försökte gå ombord på ett flyg på BWI Thurgood Marshall Airport. Säkerhetspersonal stoppade honom eftersom det deklarerade skjutvapnet han hade med sig var felaktigt packat och en efterföljande bakgrundskontroll avslöjade en öppen arresteringsorder.

"Den 17 januari 2024 blev Baltimore County Police Department medveten om en röstinspelning som cirkulerade på sociala medier", sa Robert McCullough, chef för Baltimore County Police, vid en streamad presskonferens idag. "Det påstods att rösten som fångats på ljudfilen tillhörde Eric Eiswert, rektor vid Pikesville High School. Vi har nu avgörande bevis för att inspelningen inte var äkta.

"Polisavdelningen i Baltimore County nådde det beslutet efter att ha genomfört en omfattande utredning, som innefattade att ta in en kriminalteknisk analytiker som kontrakterats med FBI för att granska inspelningen. Resultaten av analysen visade att inspelningen innehöll spår av AI-genererat innehåll."

McCullough sa att en andra åsikt från en rättsmedicinsk analytiker vid University of California, Berkeley, också fastställde att inspelningen inte var äkta.

"Baserat på dessa fynd och ytterligare undersökningar har det fastställts att inspelningen genererades med hjälp av artificiell intelligens-teknik," sade han.

Enligt den arresteringsorder som utfärdades för Darien delades ljudfilen via sociala medier den 17 januari efter att ha skickats via e-post till skollärare. Inspelningen lät som om rektor Eric Eiswert hade gjort kommentarer tillräckligt upphetsande för att föranleda ett polisbesök för att ge råd om skyddsåtgärder för personalen.

"Det bör noteras att kommentarerna i inspelningen talade om [Eiswerts] påstådda frustrationer över testresultat av afroamerikanska studenter och påståenden om att de (de afroamerikanska studenterna) inte kunde "testa sig ut ur en papperspåse,"" står det i beslutet.

"Inspelningen fortsatte med att göra nedsättande kommentarer om judiska individer och två lärare som 'aldrig borde ha blivit anställd' på skolan. Inspelningen föreställde ett samtal mellan [Eiswert] och en av PHS biträdande rektorer.”

Och sedan staplade alla in

Klippet, enligt beslutet, ledde till att Eiswert tillfälligt togs bort från sin position och "en våg av hatfyllda meddelanden på sociala medier och många samtal till skolan" och störde skolans verksamhet avsevärt. Polisen säger att det ledde till hot mot Eiswert och oro för hans säkerhet.

Eiswert sa till utredarna att han tror att ljudklippet var falskt eftersom "han aldrig hade samtalen i inspelningen." Och han sa att han trodde att Darien var ansvarig på grund av sin tekniska förtrogenhet med AI och hade ett möjligt motiv: Eiswert sa att det "hade varit samtal med Darien om att hans kontrakt inte skulle förnyas nästa termin på grund av frekventa utmaningar i arbetets prestanda."

Dessa utmaningar beskrivs i mer specifika termer i warranten. En incident innebar att Eiswert tillrättavisade Darien för att han sparkat en långvarig tränare utan godkännande.

En annan är att Eiswert undersökte Dariens hantering av skolmedel. "I december 2023 var Darien föremål för en potentiell stöldutredning [Eiswert] som inleddes", står det i beslutet. Därav åtal mot vittnets repressalier.

Den andra parten som hördes på inspelningen berättade för utredarna att samtalet inte hade hänt och sa att kommentarerna inte lät som något Eiswert skulle ha sagt.

Intervjuer med Darien och medarbetare på skolan tyder på att filen skickades till Baltimore County Public School-adresser från ett Gmail-konto, TJFOUST9. En av personerna som intervjuades noterade att Darien hade "manat henne att kontrollera hennes BCPS-e-postkonto efter ett "konstigt" meddelande."

Därefter avslöjade en annan anställd – som ”av olika anledningar hade svårt att arbeta under [Eiswerts] ledning” – att hon vidarebefordrade e-postmeddelandet till en PHS-students mobiltelefon, som hon visste snabbt skulle sprida budskapet runt olika sociala medier och överallt. skolan." En stämningsansökan för hennes tidigare e-postkonto vid universitetet indikerade att filen hade vidarebefordrats till nyhetsorganisationer och NAACP.

Under sin första intervju med utredare förnekade Darien att han kände någon som heter "TJ Foust" och förnekade all inblandning i skapandet och distributionen av inspelningen.

Skyll på mormor

Därefter skickade utredarna stämningar till Google och AT&T för att få information om kontoägande och IP-adressinformation. De fastställde att Gmail-adressen skapades den 15 augusti 2022 på en IP-adress som är kopplad till Dariens mormors bostad i Los Angeles. De fann vidare att återställningstelefonnumret för TJFOUST9-kontot var associerat med ett T-Mobile USA-konto registrerat hos Darien.

De specifika AI-verktyg som påstås ha använts av Darien har inte avslöjats. Beslutet indikerar dock att BCPS Office of Information Technology granskade Dariens nätverksåtkomst och hittade flera fall där han sökte efter OpenAI-verktyg via Bing Chat.

Vi går in i en ny djupt oroande gräns

OpenAI Voice Engine, ett verktyg för att skapa syntetiska röster, var inte tillgängligt för allmänheten vid tidpunkten för de påstådda brotten. Det var meddelade den 29 mars 2024. Men andra företag gillar ElevenLabs har erbjudit teknik för röstkloning under längre tid.

Under presskonferensen efterlyste John Olszewski, Baltimore County Executive, mer försiktighet med hänsyn till offentliga medier.

"Det är tydligt att vi också går in i en ny djupt oroande gräns när vi fortsätter att omfamna ny teknik och dess potential för innovation och socialt goda," sade han.

"Vi måste också vara vaksamma mot dem som skulle ha använt det i uppsåt. Det kommer att kräva att vi är mer medvetna och mer kräsna om ljudet vi hör och bilderna vi ser. Vi måste vara försiktiga i vår bedömning." ®

• SEO-drivet innehåll och PR-distribution. Bli förstärkt idag.
• PlatoData.Network Vertical Generative Ai. Styrka dig själv. Tillgång här.
• PlatoAiStream. Web3 Intelligence. Kunskap förstärkt. Tillgång här.
• Platoesg. Kol, CleanTech, Energi, Miljö, Sol, Avfallshantering. Tillgång här.
• PlatoHealth. Biotech och kliniska prövningar Intelligence. Tillgång här.
• Källa: https://go.theregister.com/feed/www.theregister.com/2024/04/25/ai_voice_arrest/