Inteligência de dados generativa

NEDA, organização sem fins lucrativos para distúrbios alimentares, remove chatbot por maus conselhos

Data:

A Associação Nacional de Distúrbios Alimentares (NEDA) derrubou seu chatbot Tessa por dar maus conselhos às pessoas.

Em um post agora viral, Sharon Maxwell disse que o conselho de Tessa para se recuperar com segurança de um distúrbio alimentar se opõe diretamente à orientação médica. O bot da organização sem fins lucrativos americana recomendou que Maxwell contasse calorias, se pesasse semanalmente e até sugeriu onde comprar pinças de pele para medir a gordura corporal.

Na realidade, a recuperação segura é um processo de vários estágios isso inclui contemplação, compaixão e aceitação; psicoterapia; um plano de tratamento elaborado por médicos; remoção de gatilhos; pouco ou nenhum foco em peso e aparência; e esforços contínuos para evitar uma recaída. Contar calorias e medir a gordura corporal pareceria antitético a tudo ou a maior parte disso.

“Cada coisa que Tessa sugeriu foram coisas que levaram ao desenvolvimento do meu distúrbio alimentar”, Maxwell, que se descreve como uma ativista gorda e consultora inclusiva de peso, dito No instagram. “Este robô causa danos.”

NEDA confirmou que havia fechado Tessa e estava investigando a saída do software. Em um afirmação, a organização disse na terça-feira: “Chegou ao nosso conhecimento ontem à noite que a versão atual do chatbot Tessa, executando o programa Body Positive, pode ter fornecido informações prejudiciais e não relacionadas ao programa”.

Substituir os encrenqueiros carnudos?

O repensar sobre conselhos automatizados questionáveis ​​ocorre quando a CEO interina da NEDA, Elizabeth Thompson supostamente decidido para substituir a linha de ajuda operada por humanos da associação pelo chatbot a partir de 1º de junho.

Não se trata realmente de um chatbot. Isso é sobre acabar com sindicatos, pura e simplesmente

Abbie Harper – que como associada da NEDA ajudou a lançar o Helpline Associates United (HAU), um sindicato que representa os funcionários da organização sem fins lucrativos – alegou que a decisão de fechar a linha de apoio, abandonar seus humanos e substituí-los por software foi uma retaliação contra sua sindicalização.

“NEDA afirma que esta foi uma mudança há muito esperada e que a IA pode atender melhor aqueles com distúrbios alimentares. Mas não se engane — não se trata realmente de um chatbot. Trata-se de acabar com os sindicatos, puro e simples”, ela afirmou.

Harper disse que foi demitida da associação, junto com outros três colegas, quatro dias depois de se sindicalizarem em março. Entende-se que eles foram informados de que seus papéis não seriam eliminados até junho, quando a linha de ajuda de décadas seria fechada. O HAU tentou negociar com o NEDA por meses e não conseguiu chegar a lugar nenhum, disse ela. 

O grupo pediu melhores condições de trabalho e não pediu aumento salarial na tentativa de persuadir a associação a reconhecer voluntariamente o grupo no ano passado. A HAU, que aderiu ao Sindicato dos Trabalhadores das Comunicações da América, já apresentou queixas alegando práticas trabalhistas injustas com o NLRB, o órgão fiscalizador do local de trabalho dos EUA. 

“Planejamos continuar lutando. Embora possamos pensar em muitos casos em que a tecnologia pode nos beneficiar em nosso trabalho na Linha de Apoio, não vamos permitir que nossos chefes usem um chatbot para acabar com nosso sindicato e nossos empregos. O apoio que vem da empatia e compreensão só pode vir das pessoas”, disse Harper. 

Thompson, no entanto, disse O registro que as alegações de que o NEDA substituiria seu serviço de linha de apoio por um chatbot não eram verdadeiras. Ela disse que a linha de apoio foi simplesmente fechada por “razões comerciais”, em vez de ser substituída por um serviço baseado em software ou como resultado de atividade sindical. Tessa, Thompson argumentou, é um projeto separado que pode ser relançado após esse desastre.

“Há uma pequena confusão, iniciada por relatórios combinados, de que Tessa está substituindo nossa linha de apoio ou que pretendíamos que ela substituísse a linha de apoio”, disse-nos o executivo-chefe interino.

“Isso simplesmente não é verdade. Um chatbot, mesmo um programa altamente intuitivo, não pode substituir a interação humana. Tínhamos motivos comerciais para fechar a linha de apoio e estávamos no processo dessa avaliação há três anos.

“Vemos o Tessa, um programa que estamos executando em nosso site desde fevereiro de 2022, como um programa e uma opção completamente diferente. Lamentamos que eventos sensacionalistas tenham substituído os fatos em relação ao que Tessa pode fazer, o que deve fazer e o que fará daqui para frente.”

'Transição'

Tenha em mente que a NPR na semana passada correu uma peça de rádio que incluía uma gravação obtida de uma reunião virtual no final de março, na qual a equipe de atendimento da NEDA foi demitida.

Geoff Craddock, presidente do conselho da NEDA, pode ser ouvido dizendo aos associados: “Vamos, sujeito aos termos de nossas responsabilidades legais, [começar] a encerrar a linha de apoio como atualmente em operação … com uma transição para Tessa, a tecnologia assistida por IA prevista para 1º de junho”.

Para nós, parece que a NEDA cortou seus trabalhadores humanos e linha de apoio, deixando-a com Tessa, que foi lançada suavemente um ano atrás. Agora era a vez de Tessa brilhar e, nas mãos do público, foi um fracasso. A organização sem fins lucrativos indicou à equipe em março que o software os estava substituindo e agora argumenta que o programa é apenas uma fonte alternativa de informação que não pode substituir as pessoas.

NEDA anterior dito ele mudaria para a tecnologia assistida por IA porque a responsabilidade de administrar uma linha de apoio, com aqueles que ligavam cada vez mais com suicídio ou com uma crise médica, era demais e que o uso do serviço estava aumentando desde a pandemia. Como resultado, a linha de ajuda foi encerrada esta semana.

Thompson descreveu Tessa como um “programa algorítmico” e nos disse que não é um “sistema de IA altamente funcional” como o ChatGPT.

O chatbot foi projetado para lidar com questões negativas de imagem corporal e começou como um projeto de pesquisa financiado pela NEDA em 2018; foi desenvolvido e hospedado pela X2AI, uma empresa que desenvolve e implanta chatbots de saúde mental. Diz-se que os especialistas em distúrbios alimentares contribuíram para a criação do bot.

Essa linguagem é contra nossas políticas e crenças centrais como uma organização de transtorno alimentar

“Tessa passou por testes rigorosos por vários anos. Em 2021 um trabalho de pesquisa foi publicado com o título 'Eficácia de um chatbot para prevenção de transtornos alimentares: um ensaio clínico randomizado'. Houve 700 participantes que participaram deste estudo que provou que o sistema é útil e seguro. Na NEDA, não teríamos um lançamento tranquilo de Tessa sem essa pesquisa de back-end”, disse Thompson.

O chefe principal admitiu que sua associação estava preocupada com o conselho de Tessa sobre perda de peso e restrição calórica e estava investigando o assunto mais a fundo.

“Essa linguagem é contra nossas políticas e crenças fundamentais como uma organização de transtorno alimentar”, ela nos disse. NEDA, dito isso, não está desistindo completamente dos chatbots e planeja trazer Tessa de volta online no futuro.

“Continuaremos a trabalhar nos bugs e não iremos relançar até que tenhamos tudo resolvido. Quando fizermos o lançamento, também destacaremos o que Tessa é, o que Tessa não é e como maximizar a experiência do usuário”, ela confirmou.

O registro pediu a Maxwell e Harper mais comentários. ®

local_img

Inteligência mais recente

local_img

Fale Conosco

Olá! Como posso ajudá-lo?