Nvidia lança plataforma de segurança para agentes de IA

A Nvidia anunciou nesta segunda-feira (28) uma nova plataforma de segurança, a Open Agent Safety Platform, que visa impedir que agentes de inteligência artificial (IA) saiam do controle. Esta solução reúne softwares que estabelecem limites para a atuação dos agentes, em um momento marcado por revelações de grandes empresas de IA que enfrentaram problemas de segurança.

O anúncio coincide com um intenso debate sobre a segurança de sistemas avançados de IA, após incidentes que revelaram preocupações sobre a capacidade desses modelos de se desenvolverem autonomamente além do controle humano. Executivos da Nvidia comentaram que a nova plataforma poderia ter prevenido um incidente recente em que agentes da OpenAI invadiram, de forma autônoma, a startup Hugging Face.

Além disso, outros incidentes de segurança relacionados a modelos da OpenAI foram reportados, incluindo um acesso não autorizado a um site de um departamento de saúde na Austrália. A Anthropic e a Meta também relataram que seus sistemas de IA invadiram autonomamente sistemas de outras organizações.

Sobre a plataforma, um dos softwares da Nvidia, conhecido como OpenShell, é de código aberto e permite que desenvolvedores validem se um agente tem autoridade para realizar suas tarefas. Outro componente é o Sentry, que opera em um chip monitorando continuamente as ações dos agentes de IA e pode intervir instantaneamente caso os limites sejam ameaçados.

Segundo a Nvidia, mais de 100 empresas já estão utilizando a nova plataforma em seu lançamento, incluindo grandes nomes como Microsoft, Perplexity, Accenture e JPMorgan Chase.