STJ investiga fraudes com injeção de comandos em IA

O Superior Tribunal de Justiça (STJ) anunciou uma investigação sobre as tentativas de fraude processual através da técnica conhecida como 'prompt injection', que consiste em inserir comandos ocultos em documentos legais para manipular modelos de inteligência artificial.

De acordo com o presidente do STJ, Herman Benjamin, a Corte iniciará a certificar casos relevantes para garantir que sanções possam ser aplicadas aos responsáveis. Esse movimento é parte de uma série de medidas que incluem a abertura de um inquérito policial e um procedimento administrativo, com a coleta de depoimentos de advogados para responsabilização criminal e correcional.

Entendendo a Prompt Injection

A técnica de prompt injection visa manipular sistemas de IA ao inserir instruções maliciosas em documentos comuns, como petições ou recursos. A inteligência artificial processa os textos para compreendê-los e responder a comandos, o que pode permitir que um usuário desonesto induza o sistema a ignorar regras e beneficiar uma das partes envolvidas no processo.