Nova Zelândia desenvolve ferramenta para apoio a usuários do ChatGPT com sinais de extremismo

Usuários do ChatGPT que exibirem comportamentos indicativos de extremismo violento poderão ter acesso a apoio especializado através de uma nova ferramenta que está sendo desenvolvida na Nova Zelândia. Os responsáveis pelo projeto anunciaram que o sistema integrará suporte humano e chatbots, com o objetivo de mitigar riscos de violência.

Parceria com a ThroughLine

A startup ThroughLine, que foi contratada por empresas como OpenAI, Anthropic e Google, busca direcionar indivíduos a serviços de apoio em situações críticas. Esses encaminhamentos ocorrem em cenários que incluem automutilação, violência doméstica ou distúrbios alimentares. Essa iniciativa surge no contexto de crescente pressão sobre as empresas de inteligência artificial para assegurar a segurança dos usuários, especialmente após casos de violência associados a suas plataformas.

"

É algo que gostaríamos de avançar e fazer um trabalho melhor em termos de cobertura, para então poder dar um suporte melhor às plataformas

Em diálogo com o The Christchurch Call, uma iniciativa focada em combater o ódio online, a ThroughLine planeja expandir suas ferramentas para incluir a prevenção ao extremismo. A colaboração prevê que a organização forneça orientações enquanto a ThroughLine aperfeiçoa suas respostas computacionais.

• 1Encaminhamentos para suporte mental
• 2Integração com especialistas em extremismo
• 3Desenvolvimento de chatbot de intervenção

O novo sistema, ainda em fase de testes, não possui data de lançamento definida. De acordo com consultores envolvidos no projeto, espera-se que essa ferramenta ajude moderadores online e familiares a lidar com situações de extremismo.

"

Não estamos usando os dados de treinamento de um modelo de linguagem básico. Estamos trabalhando com os especialistas certos