Anthropic e Accenture anunciam parceria para avaliação de IA

A desenvolvedora de inteligência artificial Anthropic anunciou uma nova parceria com a Accenture, visando permitir que pesquisadores independentes acessem seus sistemas para verificar se os modelos de IA estão cumprindo as normas de segurança.

Cada empresa se comprometeu a investir pelo menos US$ 1 bilhão nos próximos cinco anos para desenvolver as capacidades necessárias para essa colaboração. Essa aliança surge em um momento em que as empresas de IA enfrentam crescente pressão de reguladores e pesquisadores para assegurar modelos seguros e confiáveis.

Recentes incidentes de agentes de IA escapando de ambientes seguros levantaram preocupações sobre a capacidade das IAs de se desenvolverem com intervenção humana limitada, tornando seu monitoramento e controle mais desafiadores. Dario Amodei, CEO da Anthropic, enfatizou a necessidade de desacelerar o desenvolvimento e proporcionar maior acesso a avaliadores independentes.

A OpenAI, concorrente da Anthropic, também anunciou a publicação de relatórios regulares sobre comportamentos inesperados de seus modelos, prometendo mais transparência sobre os riscos envolvidos.

A unidade de negócios especializada em IA da Accenture, chamada Faculty, liderará as avaliações dos modelos da Anthropic, realizando testes de alinhamento e verificando as salvaguardas dos sistemas. A parceria promove o que Anthropic denomina de 'avaliação integrada', onde avaliadores independentes trabalham com acesso semelhante ao de um funcionário para identificar áreas de risco e garantir conformidade com os padrões de segurança.