Este resumo de pesquisa faz parte do nosso AI de conversação série que cobre as abordagens mais recentes de IA e aprendizado de máquina nas seguintes áreas:

Nesta peça, começamos cobrindo as abordagens de ponta para a construção de agentes de diálogo de domínio aberto.

2020 é o ano revolucionário para chatbots de domínio aberto. O chatbot do Google, Meena, e o chatbot do Facebook, Blender, ambos lançados este ano, alcançam um desempenho próximo do nível humano. Os desenvolvedores desses agentes de conversação de última geração sugeriram novas abordagens para melhorar a qualidade da conversa em termos de sensibilidade e sensibilidade das respostas, a empatia do agente e a consistência de sua personalidade. 

Além disso, sabendo que Meena é baseado em um modelo com 2.6 bilhões de parâmetros e o Blender é treinado usando um modelo baseado em Transformer com até 9.4 bilhões de parâmetros, podemos concluir que o tamanho do modelo é um dos fatores-chave para o sucesso desses modelos. .

A maioria das empresas não tem dinheiro para treinar e implantar chatbots desse tamanho. Felizmente, a comunidade de pesquisa tem muitas ideias de pesquisa de ponta sobre como melhorar o desempenho de agentes de conversação de domínio aberto sem treinar modelos tão grandes. Nós selecionamos e resumimos cuidadosamente os artigos de pesquisa mais interessantes que apresentam soluções eficazes para ter conversas significativas, envolventes, consistentes com a personalidade e empáticas com chatbots.

Se essas análises e resumos de pesquisas acessíveis de IA forem úteis para você, você pode inscreva-se para receber nossas atualizações regulares do setor abaixo.

Se você quiser pular, aqui estão os artigos que destacamos:

1. TransferTransfo: uma abordagem de aprendizagem de transferência para agentes de conversação baseados em rede neural
2. Conversa de Domínio Aberto Orientada para o Alvo
3. MoEL: mistura de ouvintes empáticos
4. Um modelo de geração de diálogo personalizado baseado em pré-treinamento com dados esparsos de Persona
5. Você me impressiona: geração de diálogo via percepção mútua de persona
6. Aprendizagem de reforço hierárquico para diálogo de domínio aberto
7. DCR-Net: uma profunda rede de relações co-interativas para o reconhecimento do Joint Dialog Act e classificação de sentimentos
8. Seleção Sequencial de Conhecimento Latente para Diálogo Fundamentado no Conhecimento

Sistemas de Diálogo de Domínio Aberto

1. TransferTransfo: uma abordagem de aprendizagem de transferência para agentes de conversação baseados em rede neural, por Thomas Wolf, Victor Sanh, Julien Chaumond, Clement Delangue

Resumo Original 

Apresentamos uma nova abordagem para sistemas de diálogo baseados em dados generativos (por exemplo, chatbots) chamado TransferTransfo, que é uma combinação de um esquema de treinamento baseado em aprendizagem de transferência e um modelo de Transformer de alta capacidade. O ajuste fino é executado usando um objetivo multitarefa que combina várias tarefas de previsão não supervisionadas. O modelo ajustado resultante mostra grandes melhorias em relação aos modelos conversacionais de ponta a ponta atuais, como seq2seq aumentada de memória e modelos de recuperação de informações. No conjunto de dados PERSONA-CHAT de propriedade privada do Conversational Intelligence Challenge 2, esta abordagem obtém um novo estado da arte, com respectivas perplexidades, Hits @ 1 e métricas F1 de 16.28 (45% de melhoria absoluta), 80.7 (46 % de melhora absoluta) e 19.5 (20% de melhora absoluta).

Nosso Resumo 

A equipe de pesquisa HuggingFace aponta para os problemas comuns com chatbots de domínio aberto, incluindo personalidade inconsistente, falta de memória de longo prazo e uma tendência para produzir respostas genéricas. Para resolver esses problemas, os pesquisadores apresentam uma nova arquitetura de modelo junto com os algoritmos de treinamento e geração associados. Seus TransferTransfo abordagem é baseada em uma combinação de Transferir entre Contas esquema de treinamento baseado em aprendizagem e multicamadas transformador-rmer codificador. A avaliação demonstra que a abordagem sugerida melhora significativamente em relação às linhas de base tradicionais seq-2-seq e de recuperação de informações em termos de relevância de resposta, consistência de persona, fluência e gramaticalidade.

Qual é a ideia central deste artigo?

• Um romance TransferTransfo abordagem para chatbots geradores baseados em dados:
  • usa um codificador Transformer multicamadas baseado em GPT como um modelo gerador;
  • aproveita os pesos do modelo pré-treinado de código aberto por OpenAI;
• O modelo é ajustado no conjunto de dados PERSONA-CHAT com:
  • uma representação de entrada aumentada: 
    • primeiro, uma sequência de tokens de entrada é construída concatenando as frases de persona com as declarações anteriores do diálogo;
    • segundo, uma sequência de embeddings de entrada é construída a partir de tokens de entrada com a palavra e embeddings posicionais aprendidos durante o pré-treinamento e aumentados com embeddings de estado de diálogo;
  • um esquema de aprendizagem multitarefa otimizado em uma combinação de duas funções de perda:
    • uma perda de classificação do próximo enunciado;
    • uma perda de modelagem de linguagem.

Qual é a principal conquista?

• Os experimentos demonstram que o TrasnferTransfo supera os sistemas existentes por uma margem significativa e alcança:
  • no conjunto de dados de validação pública, 51% de melhoria absoluta em perplexidade, 35% de melhoria absoluta em Hits @ 1 e 13% de melhoria em F1;
  • no conjunto de teste privado (após ajustar os hiperparâmetros no conjunto de validação), melhora absoluta de 45% na perplexidade, melhora absoluta de 46% nos acertos @ 1 e melhora de 20% na F1.

O que a comunidade da IA ​​pensa?

• O artigo foi apresentado no workshop NeurIPS 2018 Conversational AI.

Quais são as futuras áreas de pesquisa?

• Explorando configurações e modelos mais otimizados.

Onde você pode obter o código de implementação?

• A equipe HuggingFace lançou a implementação do código em GitHub.

2. Conversa de Domínio Aberto Orientada para o Alvo, por Jianheng Tang, Tiancheng Zhao, Chenyan Xiong, Xiaodan Liang, Eric P. Xing, Zhiting Hu

Resumo Original 

Muitos aplicativos de conversação de domínio aberto do mundo real têm objetivos específicos a serem alcançados durante bate-papos abertos, como recomendação, psicoterapia, educação, etc. Estudamos o problema de impor objetivos de conversação a agentes de bate-papo de domínio aberto. Em particular, queremos um sistema de conversação para conversar naturalmente com humanos e orientar proativamente a conversa para um assunto-alvo designado. O problema é desafiador, pois não há dados públicos disponíveis para aprender essa estratégia guiada por objetivos. Propomos uma abordagem estruturada que introduz palavras-chave de granulação grossa para controlar o conteúdo pretendido das respostas do sistema. Em seguida, alcançamos uma transição de conversa suave por meio do aprendizado supervisionado por turnos e conduzimos a conversa em direção ao alvo com restrições de nível de discurso. Além disso, derivamos um conjunto de dados de conversação com aumento de palavras-chave para o estudo. Avaliações quantitativas e humanas mostram que nosso sistema pode produzir conversas significativas e eficazes, melhorando significativamente em relação a outras abordagens.

Nosso Resumo 

Muitas aplicações práticas de chatbots de domínio aberto requerem que esses sistemas de diálogo atinjam um objetivo específico, mesmo que a conversa seja aberta (por exemplo, conversas terapêuticas, persuasão, fazer recomendações). O documento de pesquisa atual sugere uma abordagem geral para a criação de um sistema de IA de conversação que conversa naturalmente com humanos em tópicos de domínio aberto, enquanto orienta de forma proativa a conversa para um determinado assunto alvo. Em particular, os autores sugerem modelar e controlar explicitamente o conteúdo pretendido de cada resposta com palavras-chave de expressão grosseira. A regra de nível de discurso incentiva a conversa a abordar o tópico de destino. Avaliações quantitativas e humanas demonstram que o agente apresentado pode gerar conversas significativas e eficazes ao atingir os tópicos-alvo. 

Qual é a ideia central deste artigo?

• Os pesquisadores definem uma nova tarefa para chatbots de domínio aberto:
  • conversar naturalmente com humanos partindo de um tópico inicial arbitrário e levando a conversa ao assunto alvo no final;
  • um alvo é definido como uma palavra específica;
  • a meta é considerada atingida quando o ser humano ou o agente menciona esta ou uma palavra semelhante em um enunciado;
  • o agente equilibra dois objetivos: (1) suavidade de transição; e (2) cumprimento da meta.
• A abordagem proposta assume:
  • mantendo uma transição de conversa suave usando aprendizagem supervisionada por turnos;
  • injetar comportamento orientado ao alvo com uma estratégia baseada em regras;
  • desacoplando o processo de tomada de decisão e geração de enunciado modelando explicitamente as palavras-chave grosseiras pretendidas no próximo enunciado de um sistema de diálogo.
• Para estudar essa nova tarefa, os pesquisadores apresentam um novo grande conjunto de dados de conversação derivado do corpus Persona-Chat.

Qual é a principal conquista?

• Os resultados da avaliação de jogo automático demonstram que o agente introduzido com transição de Kernel supera as abordagens alternativas com uma taxa de sucesso de 75% e uma média de 4.2 voltas. 
• Avaliações humanas também confirmam que o agente Kernel supera todos os outros sistemas em termos de taxa de sucesso e suavidade de transição.

O que a comunidade da IA ​​pensa?

• O artigo foi aceito para apresentação oral na ACL 2019, a conferência líder em processamento de linguagem natural.

Quais são as futuras áreas de pesquisa?

• Explorando uma modelagem mais sofisticada para obter um melhor controle nos níveis de frase e diálogo.

Quais são os possíveis aplicativos de negócios?

• Os chatbots de domínio aberto guiados por alvo podem ser úteis em psicoterapia, educação e fazer recomendações em diferentes áreas de negócios.

Onde você pode obter o código de implementação?

• O conjunto de dados e a implementação do código estão disponíveis publicamente em GitHub.

3. MoEL: mistura de ouvintes empáticos, por Zhaojiang Lin, Andrea Madotto, Jamin Shin, Peng Xu, Pascale Fung

Resumo Original 

Pesquisas anteriores sobre sistemas de diálogo empático focalizaram principalmente a geração de respostas dadas a certas emoções. No entanto, ser empático não requer apenas a capacidade de gerar respostas emocionais, mas, mais importante, requer a compreensão das emoções do usuário e uma resposta adequada. Neste artigo, propomos uma nova abordagem ponta a ponta para modelar empatia em sistemas de diálogo: Mistura de Ouvintes Empáticos (MoEL). Nosso modelo primeiro captura as emoções do usuário e produz uma distribuição de emoções. Com base nisso, o MoEL combinará suavemente os estados de saída do (s) Ouvinte (s) apropriado (s), cada um otimizado para reagir a certas emoções e gerar uma resposta empática. Avaliações humanas em conjuntos de dados de diálogos empáticos (Rashkin et al., 2018) confirmam que o MoEL supera a linha de base de treinamento multitarefa em termos de empatia, relevância e fluência. Além disso, o estudo de caso sobre respostas geradas de diferentes ouvintes mostra alta interpretabilidade de nosso modelo.

Nosso Resumo 

A equipe de pesquisa do Center for Artificial Intelligence Research (CAiRE) aborda a desafiadora tarefa de construir um agente de diálogo capaz de reconhecer emoções e responder de forma adequada. Eles apresentam um novo agente de diálogo empático de ponta a ponta, chamado Mistura de ouvintes empáticos (MoEL), que usa o contexto do diálogo para reconhecer o estado emocional e inclui vários decodificadores ou ouvintes, que são otimizados para reagir a cada emoção do contexto de acordo. Os resultados experimentais demonstram que a abordagem introduzida supera várias linhas de base competitivas em termos de empatia e relevância.

Qual é a ideia central deste artigo?

• Para modelar a empatia no sistema de diálogo, a equipe de pesquisa CAiRE apresenta um novo agente de diálogo ponta a ponta, chamado Mistura de ouvintes empáticos (MoEL):
  • o contexto do diálogo é codificado e aproveitado para reconhecer o estado emocional (ou seja, um dos n emoções);
  • n decodificadores, denotados como ouvintes, são otimizados para reagir a cada emoção do contexto de acordo;
  • os ouvintes são treinados junto com um Meta Listener que combina suavemente os estados de saída do (s) ouvinte (s) apropriado (s).

Qual é a principal conquista?

• Com relação à detecção de emoção, o modelo atinge 38%, 63% e 74% na precisão de detecção do primeiro, terceiro e quinto lugar em 1 emoções.
• Com relação à geração de resposta, o MoEL supera outras linhas de base em termos de empatia e relevância de resposta.

O que a comunidade da IA ​​pensa?

• O artigo foi aceito para apresentação oral no EMNLP 2019, uma das principais conferências em processamento de linguagem natural.

Quais são as futuras áreas de pesquisa?

• Incorporando MoEL com sistemas de diálogo orientados para a pessoa e para a tarefa.

Quais são os possíveis aplicativos de negócios?

• Adicionar empatia aos sistemas de IA de conversação pode melhorar o desempenho de chatbots em diferentes aplicativos do mundo real.

Onde você pode obter o código de implementação?

• A implementação PyTorch do artigo está disponível em GitHub.

4. Um modelo de geração de diálogo personalizado baseado em pré-treinamento com dados esparsos de Persona, por Yinhe Zheng, Rongsheng Zhang, Xiaoxi Mao, Minlie Huang

Resumo Original 

Dotar os sistemas de diálogo com personas é essencial para entregar conversas mais humanas. No entanto, esse problema ainda está longe de ser bem explorado devido às dificuldades tanto de incorporar personalidades em línguas naturais quanto à questão de esparsidade de persona observada na maioria dos corpora de diálogos. Este artigo propõe um modelo de diálogo personalizado baseado em pré-treinamento que pode gerar respostas coerentes usando dados de diálogo esparsos de pessoas. Neste método, um modelo de linguagem pré-treinado é usado para inicializar um codificador e decodificador, e embeddings de atributos pessoais são concebidos para modelar contextos de diálogo mais ricos, codificando personas dos falantes junto com histórias de diálogo. Além disso, para incorporar a persona alvo no processo de decodificação e para equilibrar sua contribuição, uma estrutura de roteamento de atenção é concebida no decodificador para mesclar recursos extraídos da persona alvo e contextos de diálogo usando pesos previstos dinamicamente. Nosso modelo pode utilizar diálogos esparsos de persona de maneira unificada durante o processo de treinamento e também pode controlar a quantidade de recursos relacionados à persona a serem exibidos durante o processo de inferência. A avaliação automática e manual demonstra que o modelo proposto supera os métodos de última geração para a geração de respostas mais coerentes e consistentes com dados pessoais esparsos.

Nosso Resumo 

Embora os conjuntos de dados de diálogos relacionados à persona, como Persona-Chat, incluam conversas que cobrem recursos ricos relacionados à persona (ou seja, são densa à persona), os diálogos do mundo real geralmente são esparsos à personalidade. Portanto, os autores deste artigo abordam o problema de entregar conversas humanas usando dados de diálogo esparsos de persona. Eles apresentam um modelo de diálogo personalizado que usa dados provenientes de conversas diárias nas redes sociais. O codificador e o decodificador são inicializados com um modelo de linguagem pré-treinado. Para capturar recursos relacionados à persona, os embeddings de atributos são adicionados ao codificador. Para incorporar a persona alvo no processo de decodificação, um mecanismo de roteamento de atenção é introduzido no decodificador. A avaliação automática e manual demonstra que o método proposto supera as abordagens de última geração quando os dados de diálogo disponíveis no estágio de ajuste fino são esparsos.

Qual é a ideia central deste artigo?

• Em contraste com a maioria das abordagens baseadas em pré-treinamento que usam dados pessoais densos para ajustar um modelo, os autores deste artigo sugerem que a modelagem de diálogos com dados pessoais esparsos é preferível:
  • É caro obter diálogos densos de persona exigindo que os falantes troquem suas personas dentro de um número limitado de declarações.
  • Modelos ajustados em tais dados tendem a se ajustar demais à rotina de que características relacionadas à persona devem ser exibidas em cada resposta.
  • Os diálogos do mundo real tendem a ser esparsos.
• O documento apresenta um método baseado em pré-treinamento que pode utilizar dados pessoais esparsos para entregar conversas humanas:
  • O codificador e o decodificador seguem a estrutura do Transformer e compartilham o mesmo conjunto de pesos.
  • Para modelar cada persona, os embeddings de atributos são introduzidos no codificador.
  • Para utilizar os dados de diálogo esparsos da pessoa com eficácia, os pesquisadores desenvolvem um mecanismo de roteamento de atenção no decodificador que permite que a contribuição da pessoa-alvo seja controlada.

Qual é a principal conquista?

• A avaliação automática mostra que a abordagem introduzida supera todas as linhas de base em métricas como precisão de persona, pontuação BLEU, pontuação F1 e pontuação distinta (ou seja, a proporção de n-gramas exclusivos nas respostas geradas).
• A avaliação humana também demonstra que esta abordagem supera todas as linhas de base em todas as medidas, particularmente fluência de enunciado, consistência de persona e coerência de contexto.

O que a comunidade da IA ​​pensa?

• O artigo foi aceito na AAAI 2020, uma das principais conferências de pesquisa em inteligência artificial.

Quais são os possíveis aplicativos de negócios?

• A abordagem sugerida pode melhorar a consistência da persona e a coerência do contexto de agentes de diálogo de domínio aberto ajustados em dados esparsos de persona.

5. Você me impressiona: geração de diálogo via percepção mútua de persona, por Qian Liu, Yihong Chen, Bei Chen, Jian-Guang Lou, Zixuan Chen, Bin Zhou, Dongmei Zhang

Resumo Original 

Apesar dos esforços contínuos para melhorar o envolvimento e a consistência dos sistemas de diálogo de bate-papo, a maior parte do trabalho atual simplesmente se concentra em imitar respostas humanas, deixando subestimados os aspectos de modelagem de compreensão entre interlocutores. A pesquisa em ciências cognitivas, em vez disso, sugere que a compreensão é um sinal essencial para uma conversa de bate-papo de alta qualidade. Motivados por isso, propomos o P2 Bot, um framework baseado em transmissor-receptor com o objetivo de modelar explicitamente o entendimento. Especificamente, o P2 Bot incorpora a percepção mútua da persona para aprimorar a qualidade da geração de diálogo personalizado. Experimentos em um grande conjunto de dados públicos, Persona-Chat, demonstram a eficácia de nossa abordagem, com um aumento considerável nas linhas de base de última geração em métricas automáticas e avaliações humanas.

Nosso Resumo 

Os autores procuram melhorar a qualidade das conversas de bate-papo modelando a compreensão entre os interlocutores, em vez de simplesmente imitar respostas humanas. Para este fim, eles apresentam Bot de Percepção de Persona (P2 Bot), que aproveita uma estrutura transmissor-receptor para modelar explicitamente o entendimento entre os interlocutores. P2 Bot é treinado para geração de diálogo personalizado com treinamento supervisionado e ajuste fino de jogo autônomo que é guiado por sinais de recompensa que caracterizam a percepção mútua da persona. Os experimentos no conjunto de dados Persona-Chat mostram que o P2 Bot supera as abordagens alternativas de acordo com métricas automáticas e avaliações humanas.

Qual é a ideia central deste artigo?

• O introduzido Bot de Percepção de Personaou P2 Bot, modela explicitamente o entendimento entre os interlocutores.
• O modelo é composto por dois componentes:
  • A Transmissor componente é responsável pela geração de diálogo.
    • Ele é inicializado com GPT.
    • O procedimento de treinamento consiste em duas etapas: (1) geração de diálogo supervisionado; (2) ajuste fino do modelo de jogo automático, em que o transmissor aprende uma política que maximiza os sinais de recompensa por meio do aprendizado por reforço.
    • A função de recompensa considera não apenas a modelagem de linguagem, mas também a percepção mútua da persona com base nas pontuações de relevância medidas por um receptor. 
  • A recebedor componente é responsável pela percepção mútua da pessoa.
    • Tenta medir a proximidade entre as impressões construídas e as personas reais.
    • As pontuações de relevância obtidas servem como recompensas de percepção pessoal mútua e são posteriormente incorporadas ao treinamento do Transmissor.

Qual é a principal conquista?

• De acordo com métricas automáticas, P2 Bot supera várias linhas de base fortes, alcançando desempenho de ponta em termos de pontuação F1 e perplexidade, e desempenho altamente competitivo em termos de pontuação Hits @ 1.
• De acordo com avaliações humanas, P2 Bot tem um desempenho significativamente melhor do que outras linhas de base, gerando respostas que não são apenas interessantes e informativas, mas também consistentes com a personalidade do interlocutor.

O que a comunidade da IA ​​pensa?

• O artigo foi aceito no ACL 2020, a principal conferência de pesquisa em processamento de linguagem natural.

Quais são as futuras áreas de pesquisa?

• Estendendo o receptor para sistemas de recomendação de conversação.

Quais são os possíveis aplicativos de negócios?

• Melhorar a consistência da persona dos sistemas de diálogo por bate-papo.

Onde você pode obter o código de implementação?

• A implementação do documento em PyTorch será lançada em GitHub.

6. Aprendizagem de reforço hierárquico para diálogo de domínio aberto, por Abdelrhman Saleh, Natasha Jaques, Asma Ghandeharioun, Judy Hanwen Shen, Rosalind Picard

Resumo Original 

A geração de diálogo de domínio aberto é um problema desafiador; o treinamento de máxima verossimilhança pode levar a resultados repetitivos, os modelos têm dificuldade em rastrear objetivos de conversação de longo prazo e o treinamento em filmes padrão ou conjuntos de dados online pode levar à geração de texto impróprio, tendencioso ou ofensivo. O Aprendizado por Reforço (RL) é uma estrutura poderosa que pode potencialmente resolver esses problemas, por exemplo, permitindo que um modelo de diálogo seja otimizado para reduzir a toxicidade e a repetitividade. No entanto, as abordagens anteriores que aplicam RL à geração de diálogo de domínio aberto o fazem no nível da palavra, tornando difícil para o modelo aprender a atribuição de crédito adequada para recompensas de conversação de longo prazo. Neste artigo, propomos uma nova abordagem para a aprendizagem por reforço hierárquico, VHRL, que usa gradientes de política para ajustar a incorporação de nível de enunciado de um modelo de sequência variacional. Essa abordagem hierárquica oferece maior flexibilidade para o aprendizado de recompensas de conversação de longo prazo. Usamos self-play e RL para otimizar um conjunto de métricas de conversação centradas no ser humano e mostramos que nossa abordagem fornece melhorias significativas - em termos de avaliação humana e métricas automáticas - em relação aos modelos de diálogo de última geração, incluindo Transformers.

Nosso Resumo 

A equipe de pesquisa da Harvard University e do MIT Media Lab sugere a aplicação de aprendizado de reforço hierárquico para geração de diálogo de domínio aberto. Em contraste com as abordagens anteriores baseadas em RL, eles modelam recompensas no nível de expressão, em vez de no nível de palavra, para aprender recompensas de conversação de longo prazo. Em particular, eles apresentam o Aprendizagem por Reforço Hierárquico Variacional (VHRL) abordagem, que permite o aprendizado aprimorado de recompensas de conversação, como redução da toxicidade e repetição, melhoria do sentimento e semelhança semântica das respostas e fazer mais perguntas. A avaliação baseada em métricas automáticas e julgamentos humanos revela que o VHRL supera as arquiteturas de diálogo de última geração, incluindo modelos baseados em Transformer.

Qual é a ideia central deste artigo?

• Os autores afirmam que a aprendizagem por reforço é uma abordagem poderosa que permite que os sistemas de diálogo otimizem as métricas não diferenciáveis ​​da qualidade da conversa, como minimizar a repetição e a toxicidade.
• Eles propõem uma nova abordagem baseada em RL, Aprendizagem por Reforço Hierárquico Variacional (VHRL) que:
  • modela recompensas no nível de enunciado para melhorar a flexibilidade dos sistemas de diálogo para aprender recompensas de conversação de longo prazo;
  • tem o contexto RNN (Gerente) responsável pelas decisões de nível de enunciado e o decodificador RNN (trabalhador) responsável por decisões em nível de palavra;
  • usa o jogo automático para simular o ambiente interativo no qual o agente aprende.

Qual é a principal conquista?

• Demonstrando com uma série de experimentos que:
  • as recompensas propostas (ou seja, sentimento, fazer perguntas, repetição, semelhança semântica e toxicidade) levam a uma qualidade de conversação mais alta, conforme julgado por usuários humanos;
  • VHRL fornece a abordagem mais eficaz para aprender essas recompensas;
  • os chats são mais longos com VHRL em comparação com outros modelos, sugerindo que a abordagem proposta leva a conversas mais interessantes e envolventes.

O que a comunidade da IA ​​pensa?

• O artigo foi aceito para apresentação oral na AAAI 2020, uma das principais conferências de pesquisa em inteligência artificial.

Quais são os possíveis aplicativos de negócios?

• A abordagem sugerida pode minimizar a toxicidade da conversa e, assim, permitir a implantação de chatbots de domínio aberto em aplicativos essenciais para a segurança, como saúde mental.
• Além disso, as métricas podem ser personalizadas para um domínio de aplicativo específico (por exemplo, aumentar a polidez de um chatbot de suporte técnico) para aprimorar a integração de chatbots de domínio aberto com uma variedade de produtos do mundo real.

Onde você pode obter o código de implementação?

• O código para a plataforma de avaliação e os modelos são lançados em GitHub.

7. DCR-Net: uma profunda rede de relações co-interativas para o reconhecimento do Joint Dialog Act e classificação de sentimentos, por Libo Qin, Wanxiang Che, Yangming Li, Mingheng Ni, Ting Liu

Resumo Original 

Em sistemas de diálogo, o reconhecimento do ato de diálogo e a classificação de sentimento são duas tarefas correlativas para capturar as intenções dos falantes, onde o ato de diálogo e o sentimento podem indicar as intenções explícitas e implícitas separadamente (Kim e Kim 2018). A maioria dos sistemas existentes os trata como tarefas separadas ou apenas modelam conjuntamente as duas tarefas compartilhando parâmetros de maneira implícita, sem modelar explicitamente a interação e relação mútua. Para resolver este problema, propomos uma Deep Co-Interactive Relation Network (DCR-Net) para considerar explicitamente o impacto cruzado e modelar a interação entre as duas tarefas, introduzindo uma camada de relação co-interativa. Além disso, a camada de relação proposta pode ser empilhada para capturar gradualmente o conhecimento mútuo com várias etapas de interação. Especialmente, estudamos exaustivamente diferentes camadas de relação e seus efeitos. Resultados experimentais em dois conjuntos de dados públicos (Mastodon e Dailydialog) mostram que nosso modelo supera o modelo conjunto de última geração em 4.3% e 3.4% em termos de pontuação F1 na tarefa de reconhecimento de ato de diálogo, 5.7% e 12.4% no sentimento classificação respectivamente. A análise abrangente verifica empiricamente a eficácia de modelar explicitamente a relação entre as duas tarefas e o mecanismo de interação de várias etapas. Finalmente, empregamos a Representação Codificadora Bidirecional do Transformador (BERT) em nosso framework, que pode impulsionar ainda mais nosso desempenho em ambas as tarefas.

Nosso Resumo 

A equipe de pesquisa do Harbin Institute of Technology sugere explicitamente modelar a interação mútua e a relação entre as duas tarefas correlativas em um sistema de diálogo, ou seja, reconhecimento de ato de diálogo e classificação de sentimento. Eles apresentam um Rede de relação co-interativa profunda (DCR-Net) que considera explicitamente o impacto cruzado dessas duas tarefas e modela a interação entre o reconhecimento do ato de diálogo e a classificação de sentimento com um camada de relação co-interativa. Experimentos em dois conjuntos de dados do mundo real, Mastodon e Dailydialog, mostram que o DCR-Net atinge melhorias significativas e consistentes em todos os métodos de linha de base. Além disso, a incorporação do BERT no framework aumenta ainda mais o seu desempenho.

Qual é a ideia central deste artigo?

• Para controlar a transferência de conhecimento cruzado para reconhecimento de ato de diálogo e classificação de sentimento, é importante modelar explicitamente a relação e a interação entre essas duas tarefas.
• Para este fim, um Rede de relação co-interativa profunda (DCR-Net) é introduzido. Consiste em três componentes:
  • um compartilhado codificador hierárquico obter as representações compartilhadas do ato de diálogo e sentimento entre os enunciados;
  • um empilhado camada de relação co-interativa controlar a transferência de conhecimento para ambas as tarefas;
  • dois separados decodificadores para prever o ato de diálogo e sentimento.
• Várias camadas de relação foram exploradas:
  • concatenação;
  • perceptron multicamadas (MLP);
  • co-atenção.

Qual é a principal conquista?

• A série de experimentos demonstra que:
  • DCR-Net com co-atenção atinge:
    • no conjunto de dados Mastodon, uma melhora de 5.7% na pontuação F1 na tarefa de classificação de sentimento e uma melhora de 4.3% na pontuação F1 na tarefa de reconhecimento de ato de diálogo;
    • no conjunto de dados Dailydialog, uma melhora de 12.4% na pontuação F1 na tarefa de classificação de sentimento e uma melhora de 3.4% na pontuação F1 na tarefa de reconhecimento de ato de diálogo.
  • A camada de relação de co-atenção ganha o melhor desempenho entre as três camadas de relação nas pontuações F1 em todos os conjuntos de dados, enquanto a camada de relação MLP supera a camada de concatenação.
  • O modelo baseado em BERT atinge um novo desempenho de ponta em ambos os conjuntos de dados.

O que a comunidade da IA ​​pensa?

• O artigo foi aceito para apresentação oral na AAAI 2020, uma das principais conferências de pesquisa em inteligência artificial.

Quais são os possíveis aplicativos de negócios?

• Ao considerar explicitamente o impacto cruzado do reconhecimento de ato de diálogo e classificação de sentimento, é possível aumentar significativamente o desempenho de chatbots de domínio aberto em uma variedade de aplicativos do mundo real.

8. Seleção Sequencial de Conhecimento Latente para Diálogo Fundamentado no Conhecimento, por Byeongchang Kim, Jaewoo Ahn, Gunhee Kim

Resumo Original 

O diálogo baseado no conhecimento é uma tarefa de gerar uma resposta informativa com base no contexto do discurso e no conhecimento externo. À medida que nos concentramos em modelar melhor a seleção de conhecimento no diálogo multi-turno baseado em conhecimento, propomos um modelo de variável latente sequencial como a primeira abordagem para este assunto. O modelo denominado transformador de conhecimento sequencial (SKT) pode rastrear a distribuição anterior e posterior do conhecimento; como resultado, pode não só reduzir a ambigüidade causada pela diversidade na seleção de conhecimento da conversação, mas também alavancar melhor as informações de resposta para a escolha adequada do conhecimento. Nossos resultados experimentais mostram que o modelo proposto melhora a precisão da seleção do conhecimento e, consequentemente, o desempenho da geração de enunciados. Alcançamos o novo desempenho de ponta no Wizard of Wikipedia (Dinan et al., 2019) como um dos benchmarks mais desafiadores e em grande escala. Validamos ainda mais a eficácia de nosso modelo sobre os métodos de conversação existentes em outro conjunto de dados Holl-E de diálogo baseado em conhecimento (Moghe et al., 2018).

Nosso Resumo 

A equipe de pesquisa da Universidade Nacional de Seul explora a possibilidade de alcançar bate-papos baseados em conhecimento mais envolventes e precisos, sugerindo uma nova abordagem para a seleção de conhecimento em um diálogo baseado em conhecimento de múltiplas voltas. Em particular, eles introduzem um transformador de conhecimento sequencial (SKT) que pode lidar com a relação um-para-muitos entre o contexto do diálogo e o conhecimento a ser selecionado e também rastrear sequencialmente o fluxo do tópico de conhecimento no diálogo de múltiplas voltas. Os resultados experimentais demonstram que o modelo proposto atinge um novo desempenho no estado da arte no Wizard da Wikipedia e uma versão anotada de conhecimento do conjunto de dados Holl-E.

Qual é a ideia central deste artigo?

• O artigo aborda a questão da seleção de conhecimento para o diálogo baseado no conhecimento de múltiplas voltas, uma vez que:
  • a seleção de tópicos pertinentes é importante para envolver os humanos nas conversas;
  • a geração de enunciados torna-se mais fácil com um forte modelo de seleção de conhecimento em vigor.
• Os autores sugerem o uso de um modelo de variável latente sequencial, chamado de transformador de conhecimento sequencial (SKT), para seleção de conhecimento. Eles identificam três vantagens principais desta abordagem:
  • Ele pode lidar corretamente com a multimodalidade na seleção de conhecimento quando muitas partes de conhecimento diferentes podem ser selecionadas no contexto do diálogo. Com um modelo de variável latente sequencial, é possível reduzir o escopo de prováveis ​​candidatos ao conhecimento modelando sequencialmente a história da seleção de conhecimento em turnos anteriores.
  • Ele pode alavancar melhor as informações de resposta, mantendo o controle da distribuição anterior e posterior sobre o conhecimento e, portanto, predizendo melhor o conhecimento por amostragem posterior.
  • Funciona mesmo quando os rótulos de seleção de conhecimento para a caixa de diálogo anterior não estão disponíveis (por exemplo, quando várias pessoas discutem sobre determinados documentos), pois pode inferir qual conhecimento outras pessoas provavelmente selecionarão e usarão.

Qual é a principal conquista?

• Apresentando uma nova abordagem à seleção de conhecimento para o diálogo fundamentado no conhecimento que não apenas melhora a precisão da seleção de conhecimento, mas também o desempenho da geração de enunciados. 
• Alcançar um novo desempenho de ponta no Wizard of Wikipedia e uma versão com anotações de conhecimento do Holl-E superando o estado da arte anterior em todas as métricas para seleção de conhecimento (precisão) e geração de enunciados (unigrama F1, bigram F1).

O que a comunidade da IA ​​pensa?

• O artigo foi apresentado no ICLR 2020, uma das principais conferências de pesquisa em inteligência artificial.

Quais são as futuras áreas de pesquisa?

• Explorar outros modelos de inferência, como métodos de Monte Carlo sequenciais, usando objetivos variacionais de filtragem.
• Estudar a interpretabilidade da seleção de conhecimento com base na incerteza da atenção.

Quais são os possíveis aplicativos de negócios?

• O transformador de conhecimento sequencial sugerido pode aumentar significativamente o desempenho de sistemas de diálogo por bate-papo baseados em conhecimento.

Onde você pode obter o código de implementação?

• O código de implementação e o conjunto de dados estão disponíveis em GitHub.

Gostou deste artigo? Inscreva-se para mais atualizações de pesquisa de IA.

Avisaremos quando lançarmos mais artigos de resumo como este.

Relacionado

Coinsmart. Beste Bitcoin-Börse na Europa
Fonte: https://www.topbots.com/conversational-ai-open-domain-chatbots/