MEENA
A Google anunciou que construiu um
agente de conversação que pode conversar sobre ... qualquer coisa.
Um dos maiores desafios para os bots é lidar com as infinitas frases possíveis que um utilizador pode dizer e responder adequadamente.
Um bot que pode conversar sobre qualquer coisa parece exatamente o que precisamos para resolver esse desafio.
Portanto, a pergunta passa a ser: exatamente qual o impacto do novo bot do Google, chamado Meena, terá nas organizações que desejam implantar aplicações de IA de conversação.
O que é Meena?
Afinal de contas o que é o Google inventou?
O Meena é um modelo de conversação neural programado com 2,6 bilhões de parâmetros.
A melhor versão do Meena, de acordo com a Google, foi treinada por 30 dias usando 2.048 unidades de Tensor Processing Unit (chip específico para IA da Google) com um conjunto de dados de 40 bilhões de palavras.
Não são apenas palavras aleatórias.
O Google extraiu das redes sociais, de domínio público (dizem eles):
conversas com várias voltas
onde uma volta consiste num par de frases numa conversa.
Das nossas conversas, 40 bilhões de palavras, a Google treinou uma rede neural para responder, mostrando sete voltas de conversas, como entrada.
Meena é vasta.
Mesmo se o Google divulgasse todo o seu código (o que não aconteceria), apenas algumas empresas seriam capazes de criar/treinar um modelo semelhante ao Meena.
Como medir as diferenças?
Primeiro, para afirmar que o Meena supera outros chatbots, precisaremos de alguns critérios de avaliação.
Então que fez a Google?
Introduziu uma nova métrica chamada Sensibleness and Specificity Average (Média de sensibilidade e especificidade) ou SSA.
A inovação que esta ferramenta introduz é a medição se a resposta de um bot é sensata (o que um ser humano classificaria razoavelmente como uma resposta apropriada) e se a resposta é específica.
Normalmente, os bots empregam "truques" para te fazer pensar que eles estão a acompanhar a conversa, quando na prática eles estão apenas a dar respostas genéricas que não são necessariamente específicas ao contexto.
Por exemplo, podes ter uma conversa como:
Bot: Incrível. Conta-me mais!
Esta é uma resposta sensata, mas não é específica.
A mesma resposta funciona para qualquer número de declarações duma pessoa.
Uma resposta mais específica seria:
Humano: Eu adoro filmes de terror!
Bot: Incrível. Gosto de todos os filmes do Alfred Hitchcock. Qual é o teu preferido?
A Google mediu o Meena e um grupo de outros chatbots (XiaoIce, Mitsuku, CleverBot e DialoGPT) em especificidade e sensibilidade e a média deu a pontuação final da SSA.
Aproximadamente, os resultados foram:
Meena obteve 79% de SSA
Meena obteve 79% de SSA
Mitsuku (vencedor do Loebner Prize Turing Test) e Cleverbot 56%
DialoGPT 48%
XiaoIce 31% (um serviço popular da Microsoft que conversa com centenas de milhões de utilizadores)
Dado que esta métrica também pode ser usada para avaliar conversas humanas, a Google mediu o SSA humano médio em 86%, para que o Meena se aproxime disso.
Atualmente
O Meena ainda está no laboratório e é muito, muito complexa de gerir.
Para já ainda não é possível incorporá-lo numa ferramenta e é improvável que a Google disponibilize-o como um serviço em breve.
Mas ficamos curiosos sobre o dia que isso acontecerá.
Experimenta
Entretanto, para ires brincando e experimentando conversar com uma Inteligência Artificial, existe a aplicação Replika:
Para Android e iPhone, esta app permite conversar e ver a evolução de uma IA que 'aprende' contigo.
Queres saber mais?
Comentários
Enviar um comentário