Nova técnica identifica alucinações em modelos de linguagem

Pesquisadores da Skoltech e do Centro de Inteligência Artificial Prática do Sberbank desenvolveram uma técnica chamada TOHA, que visa identificar alucinações em sistemas de inteligência artificial que utilizam grandes modelos de linguagem.

A TOHA verifica se uma resposta gerada por um modelo é sustentada pelas informações fornecidas ou se foi inventada. O método foi apresentado em um artigo na 64ª Reunião Anual da Associação de Linguística Computacional e já está disponível publicamente na biblioteca SIRIN, desenvolvida pelos pesquisadores do Sberbank.

A abordagem identifica o problema por meio da análise interna do modelo, transformando matrizes de atenção em gráficos e calculando uma medida chamada MTop-Div, que identifica diferenças entre a estrutura do material original e a resposta gerada. Respostas com maior divergência geralmente não têm respaldo nas informações fornecidas.

Os pesquisadores testaram o TOHA em tarefas de perguntas e respostas e resumo de textos, destacando que seu desempenho foi semelhante ou melhor que métodos existentes em diversos benchmarks, com a vantagem de requerer menos exemplos para treiná-lo.

A técnica é comparável ao SelfCheckGPT, mas não necessita da geração de múltiplas respostas, tornando-se mais eficiente. A equipe acredita que a TOHA pode ser útil em setores como o bancário, jurídico e de seguros, onde erros de IA podem causar riscos significativos.