Inteligência de dados generativa

Homem é preso por ‘incriminar colega’ com voz gerada por IA

Data:

A polícia de Baltimore prendeu Dazhon Leslie Darien, ex-diretor atlético da Pikesville High School (PHS), por supostamente se passar pelo diretor da escola usando software de IA para fazer parecer que ele fez comentários racistas e anti-semitas.

Darien, de Baltimore, Maryland, foi posteriormente acusado de retaliação a testemunhas, perseguição, roubo e interrupção do funcionamento da escola. Ele foi detido tarde da noite tentando embarcar em um voo no aeroporto BWI Thurgood Marshall. O pessoal de segurança o deteve porque a arma de fogo declarada que ele tinha com ele estava embalada de maneira inadequada e uma verificação de antecedentes que se seguiu revelou um mandado de prisão em aberto.

“Em 17 de janeiro de 2024, o Departamento de Polícia do Condado de Baltimore tomou conhecimento de uma gravação de voz circulando nas redes sociais”, disse Robert McCullough, Chefe da Polícia do Condado de Baltimore, em uma entrevista coletiva transmitida hoje. “Foi alegado que a voz capturada no arquivo de áudio pertence ao Sr. Eric Eiswert, o diretor da Pikesville High School. Agora temos evidências conclusivas de que a gravação não era autêntica.

“O Departamento de Polícia do Condado de Baltimore chegou a essa determinação depois de conduzir uma extensa investigação, que incluiu a contratação de um analista forense contratado pelo FBI para revisar a gravação. Os resultados da análise indicaram que a gravação continha vestígios de conteúdo gerado por IA.”

McCullough disse que uma segunda opinião de um analista forense da Universidade da Califórnia, em Berkeley, também determinou que a gravação não era autêntica.

“Com base nessas descobertas e em investigações adicionais, foi determinado que a gravação foi gerada através do uso de tecnologia de inteligência artificial”, disse ele.

De acordo com o mandado de prisão emitido para Darien, o arquivo de áudio foi compartilhado nas redes sociais no dia 17 de janeiro, após ser enviado por e-mail aos professores da escola. A gravação soava como se o diretor Eric Eiswert tivesse feito comentários inflamados o suficiente para motivar uma visita da polícia para aconselhar sobre medidas de proteção de segurança para os funcionários.

“Deve-se notar que os comentários na gravação falavam das supostas frustrações de [Eiswert] com os resultados dos testes de estudantes afro-americanos e afirmações de que eles (os estudantes afro-americanos) não foram capazes de 'testar para sair de um saco de papel'”. diz o mandado.

“A gravação continuou a fazer comentários depreciativos sobre indivíduos judeus e dois professores que 'nunca deveriam ter sido contratados' na escola. A gravação retratou uma conversa entre [Eiswert] e um dos diretores assistentes do PHS.”

E então todos se amontoaram

O clipe, de acordo com o mandado, levou à remoção temporária de Eiswert de seu cargo e a “uma onda de mensagens cheias de ódio nas redes sociais e inúmeras ligações para a escola”, e interrompeu significativamente o funcionamento da escola. A polícia diz que isso gerou ameaças contra Eiswert e preocupações com sua segurança.

Eiswert disse aos investigadores que acredita que o clipe de áudio era falso, pois “ele nunca teve as conversas na gravação”. E ele disse acreditar que Darien era o responsável devido à sua familiaridade técnica com IA e tinha um possível motivo: Eiswert disse que “houve conversas com Darien sobre seu contrato não ser renovado no próximo semestre devido a frequentes desafios de desempenho no trabalho”.

Esses desafios são descritos em termos mais específicos no mandado. Um incidente envolveu Eiswert repreendendo Darien por demitir um treinador de longa data sem aprovação.

Outra é que Eiswert estava investigando a forma como Darien lidava com os fundos escolares. “Em dezembro de 2023, Darien foi objeto de uma investigação de roubo potencial [Eiswert] iniciada”, diz o mandado. Daí a acusação de retaliação à testemunha.

A outra parte ouvida na gravação disse aos investigadores que a conversa não havia acontecido e disse que os comentários não se pareciam com nada que Eiswert teria dito.

Entrevistas com Darien e associados da escola sugerem que o arquivo foi enviado para endereços de escolas públicas do condado de Baltimore a partir de uma conta do Gmail, TJFOUST9. Uma das pessoas entrevistadas observou que Darien “insistiu para que ela verificasse sua conta de e-mail do BCPS em busca de uma mensagem ‘estranha’”.

Depois disso, outro membro da equipe – que “teve dificuldade em trabalhar sob a liderança [de Eiswert] por vários motivos” – revelou que encaminhou o e-mail para o celular de um estudante do PHS, que ela sabia que espalharia rapidamente a mensagem em vários meios de comunicação social e em todo o país. a escola." Uma intimação para sua conta de e-mail da antiga universidade indicou que o arquivo havia sido encaminhado para organizações de notícias e para a NAACP.

Durante sua entrevista inicial com os investigadores, Darien negou conhecer alguém chamado “TJ Foust” e negou qualquer envolvimento na criação e distribuição da gravação.

A culpa é da vovó

Posteriormente, os investigadores enviaram intimações ao Google e à AT&T para obter informações de propriedade da conta e informações de endereço IP. Eles determinaram que o endereço do Gmail foi criado em 15 de agosto de 2022 em um endereço IP associado à residência da avó de Darien em Los Angeles. Eles descobriram ainda que o número de telefone de recuperação da conta TJFOUST9 estava associado a uma conta da T-Mobile nos EUA registrada em nome de Darien.

As ferramentas específicas de IA supostamente usadas por Darien não foram divulgadas. O mandado, entretanto, indica que o Escritório de Tecnologia da Informação do BCPS revisou o acesso à rede de Darien e encontrou vários casos em que ele pesquisou ferramentas OpenAI por meio do Bing Chat.

Estamos entrando em uma nova fronteira profundamente preocupante

O OpenAI Voice Engine, ferramenta para criação de vozes sintéticas, não estava disponível publicamente no momento dos supostos crimes. Era anunciou em 29 de março de 2024. No entanto, outras empresas como OnzeLabs oferecem tecnologia de clonagem de voz há mais tempo.

Durante a conferência de imprensa, John Olszewski, Executivo do Condado de Baltimore, apelou a mais cautela no que diz respeito aos meios de comunicação públicos.

“É claro que estamos também a entrar numa nova fronteira profundamente preocupante à medida que continuamos a abraçar a tecnologia emergente e o seu potencial de inovação e bem social”, disse ele.

“Também devemos permanecer vigilantes contra aqueles que o teriam usado com intenções maliciosas. Isso exigirá que estejamos mais atentos e criteriosos sobre o áudio que ouvimos e as imagens que vemos. Precisaremos ter cuidado em nosso julgamento.” ®

local_img

Inteligência mais recente

local_img

Fale Conosco

Olá! Como posso ajudá-lo?