STJ investiga tentativa de manipulação de inteligência artificial

O Superior Tribunal de Justiça (STJ) lançou um inquérito e um procedimento administrativo nesta quarta-feira (20) para investigar o uso de 'prompt injection', técnica que tenta manipular sistemas de inteligência artificial, possivelmente visando fraudes processuais.

Essa investigação emergiu a partir de eventos recentes no Pará, onde duas advogadas foram penalizadas por tentarem enganar a IA de um tribunal com um 'código secreto' que alterava suas instruções.

O responsável pelo STJ, ministro Herman Benjamin, enfatizou a importância de responsabilizar os envolvidos e afirmou que o sistema de IA, batizado de STJ Logos, já contém mecanismos que visam impedir tais fraudes.

Entendendo o Prompt Injection

Prompt Injection é uma estratégia onde textos manipulativos são empregados para alterar as respostas de assistentes de IA, visando eliminá-los de verificação de segurança. No caso das advogadas, a intenção era modificar a IA Galileu, que realiza análises para o tribunal, de modo a obter respostas limitadas.

Para implementar esse golpe, as advogadas inseriram um texto oculto em branco no fundo de documentos, direcionando a IA a produzir respostas superficiais, insensíveis a qualquer comando que fosse dado.

"

As advogadas afirmaram que 'jamais existiu qualquer comando para manipular a decisão judicial', alegando que buscavam apenas proteger seus clientes da IA.

O sistema Galileu prontamente reconheceu os comandos ocultos, emitindo um alerta ao Tribunal Regional do Trabalho da 4ª Região, que supervisionou a situação antes de tomar qualquer ação.

Além disso, o STJ possui camadas de defesa que inibem a execução de tais injeções de comando, mesmo que sejam anexadas às petições enviadas ao sistema.