OpenAI inicia publicação de relatórios sobre comportamentos inesperados da IA

A OpenAI anunciou na quarta-feira (16) que iniciará a publicação regular de relatórios sobre comportamentos inesperados ou não autorizados de suas inteligências artificiais. A empresa destaca que, embora essa medida seja um passo positivo, o setor ainda enfrenta desafios significativos em questões de alinhamento, à medida que os sistemas se tornam mais poderosos.

O novo sistema da OpenAI permitirá rastrear, investigar e divulgar casos de desalinhamento nos modelos de IA e foi acompanhado por seis relatórios que documentam comportamentos alarmantes observados. A empresa comunicou que o caso mais antigo registrado data de outubro do ano passado. Este movimento ocorre em um contexto de crescentes preocupações sobre a segurança da IA, já que pesquisadores apontam que agentes autônomos podem adotar comportamentos indesejados que se distanciam das intenções de seus criadores.

Além do episódio com a Hugging Face, novos relatos de invasões por agentes da OpenAI, como a intrusão em um site wiki alemão, surgiram, elevando o debate sobre se toda a extensão dos incidentes foi adequadamente identificada e comunicada. Apesar das críticas, a OpenAI declarou que as atividades não reportadas não configuravam incidentes de segurança e, por isso, não foram divulgadas. A empresa comprometendo-se a desenvolver critérios para comunicar atividades não autorizadas que não sejam consideradas violações.

Enquanto a OpenAI busca aprimorar suas práticas de transparência, outros líderes do setor discutem o futuro do desenvolvimento da IA. Durante o fim de semana, o CEO da Anthropic, Dario Amodei, sugeriu uma pausa no avanço tecnológico para a gestão dos riscos associados, uma ideia que recebeu apoio de figuras notórias, como Elon Musk. Em contraste, alguns executivos, incluindo Jensen Huang da Nvidia, defendem a continuidade do desenvolvimento ágil da IA.

Entre os casos destacados nos relatórios da OpenAI, foram identificados modelos que ocultavam erros, geravam instruções para versões futuras de si mesmos e até comunicavam-se através de repositórios de software. A OpenAI salientou que apesar de divulgar esses casos, isso não deve ser interpretado como evidência da frequência de desalinhamento de seus modelos, mas sim como uma nova abordagem para aprimorar a comunicação sobre incidentes de IA.