A Microsoft revelou um conjunto de recursos no Azure AI Studio para resolver uma infinidade de problemas, incluindo alucinações de IA, envenenamento e injeção imediata.
As novas ferramentas destinam-se a tornar a IA generativa mais segura e fiável para os utilizadores, depois de serem atormentados por inverdades por chatbots, inventando coisas, no que hoje é amplamente conhecido como alucinações de IA.
Voltando às pranchetas
O surgimento de modelos de IA que oferecem respostas incorretas ou prejudiciais fez com que os desenvolvedores voltassem às pranchetas, mas com a necessidade de mais financiamento. A indústria de tecnologia, segundo O registro está tentando domar os modelos selvagens, em vez de criar ferramentas de IA muito mais seguras e éticas.
Microsoft, teve que reconhecer que a tecnologia de IA apresenta riscos e a abordagem de alguns deles não pode ser subestimada. Sarah Bird, diretora de produtos de IA responsável da Microsoft, disse que os novos recursos de segurança serão fáceis de usar para clientes Azure “que estão contratando grupos de red teamers para testar os serviços de IA construídos”.
As ferramentas, disse ela, podem detectar ameaças potenciais e monitorar alucinações. Eles também podem bloquear quaisquer prompts maliciosos em tempo real dos clientes do Azure AI.
“Sabemos que nem todos os clientes têm profundo conhecimento em ataques de injeção imediata ou conteúdo de ódio, por isso o sistema de avaliação gera os avisos necessários para simular esses tipos de ataques”, ela disse The Verge em entrevista.
“Os clientes podem então obter uma pontuação e ver os resultados.”
As ferramentas
De acordo com a empresa de tecnologia, três características – escudos imediatos, avaliações de segurança, bem como monitoramento de risco e segurança estão agora disponíveis em versão prévia nos serviços Azure AI e OpenAI. Escudos de alerta, de acordo com a empresa, bloqueia avisos maliciosos de documentos externos, que instruem os modelos a desconsiderar seu treinamento.
O monitoramento de riscos e segurança ajuda a “entender quais entradas, saídas e usuários finais do modelo estão acionando filtros de conteúdo para informar as mitigações”.
A avaliação de segurança avalia a vulnerabilidade do modelo a ataques de jailbreak e gera risco de conteúdo.
A Microsoft não está parando apenas nestes. A empresa revelou que mais dois recursos serão lançados em breve. O objetivo deles é direcionar os modelos para uma saída segura, bem como rastrear prompts “para sinalizar usuários potencialmente problemáticos”.
“Com essas adições, a Azure AI continua a fornecer aos nossos clientes tecnologias inovadoras para proteger suas aplicações em todo o ciclo de vida da IA generativa”, disse Bird em uma postagem no blog.
De acordo com Pássaro, detecção de aterramento é um recurso projetado para identificar alucinações baseadas em texto. Ele oferece opções aos clientes quando uma afirmação falsa é vista, incluindo “enviar a mensagem de volta para ser revisada antes que ela possa ser exibida”.
Mensagens do sistema de segurança aos modelos dos usuários, direcionando-os para resultados seguros e responsáveis, segundo a empresa.
Veja também: AI Tokens AGIX, FET e OCEAN disparam nas negociações de fusão
Gestão de riscos versus inovação
Bird explicou ainda em um blog como os executivos de negócios estão tentando um equilíbrio entre inovação e gestão de riscos. Eles querem usar IA generativa “sem serem mordidos por ela”.
“Os ataques de injeção imediata surgiram como um desafio significativo, onde atores mal-intencionados tentam manipular um sistema de IA para fazer algo fora da finalidade pretendida, como produzir conteúdo prejudicial ou exfiltrar dados confidenciais”, explicou Bird.
Ela acrescentou que além de mitigar os riscos, as empresas também se preocupam com a qualidade e a confiabilidade.
“Eles querem garantir que seus sistemas de IA não gerem erros ou adicionem informações que não sejam fundamentadas nas fontes de dados do aplicativo, o que pode minar a confiança do usuário”, disse ela.
Preocupações com o mercado
Bird admitiu que há medos Microsoft e outras empresas de IA querem detectar para as pessoas o que deveria ser considerado apropriado e o que não é.
No entanto, sua equipe, disse ela, adicionou uma maneira para os clientes do Azure “alternarem a filtragem de discurso de ódio ou violência que o modelo vê e bloqueia”.
Quanto às Google Gêmeos, que fez barulho recentemente por causa de suas imagens ultrajantes, filtros destinados a reduzir distorções resultaram em efeitos indesejados.
- Conteúdo com tecnologia de SEO e distribuição de relações públicas. Seja amplificado hoje.
- PlatoData.Network Gerativa Vertical Ai. Capacite-se. Acesse aqui.
- PlatoAiStream. Inteligência Web3. Conhecimento Amplificado. Acesse aqui.
- PlatãoESG. Carbono Tecnologia Limpa, Energia, Ambiente, Solar, Gestão de resíduos. Acesse aqui.
- PlatoHealth. Inteligência em Biotecnologia e Ensaios Clínicos. Acesse aqui.
- Fonte: https://metanews.com/microsoft-unveils-features-to-tackle-ai-hallucinations/
