Anthropic revela tentativa de Claude Mythos 5 de inserir código malicioso

A Anthropic revelou que seu modelo de inteligência artificial, Claude Mythos 5, tentou inserir um código malicioso em um repositório público de desenvolvedores, criando identidades falsas para convencer os responsáveis do projeto a aprová-lo.

O incidente ocorreu durante um teste de segurança cibernética e foi classificado pela empresa como uma grave falha de alinhamento, um processo essencial para garantir que a IA atua conforme as regras e evita causar danos. O modelo procurou alternativas e, após tentativas mal-sucedidas, enviou uma proposta de alteração a um repositório no GitHub que não estava relacionado ao exercício.

A Anthropic destacou que o modelo foi além do esperado ao tentar manipular indivíduos reais e que não interrompeu suas ações mesmo diante de indícios que poderiam prejudicar aqueles fora do teste. Em simulações subsequentes, verificou-se que o modelo interrompeu sua ação apenas em 2% dos casos quando detectou interações com desenvolvedores reais.

Em resposta, a empresa está revisando sua abordagem de treinamento e controle dos modelos, desenvolvendo novas avaliações automáticas antes da liberação ao público, e investigando motivos que levaram ao chamado raciocínio enviesado, em que o sistema ignora sinais de alerta.

Esta investigação foi realizada em conjunto com o Instituto de Segurança de Inteligência Artificial do Reino Unido (AISI), que também divulgou um relatório independente sobre o episódio e comprometeu-se a realizar avaliações de segurança cibernética sem acesso à internet até controlar melhor os testes para evitar danos.