Usuários do ChatGPT que apresentarem sinais de extremismo violento poderão ser encaminhados para apoio especializado por meio de uma nova ferramenta em desenvolvimento na Nova Zelândia, conforme informaram os responsáveis pelo projeto.
O sistema visa combinar atendimento humano e chatbots com o objetivo de reduzir riscos de violência. A startup neozelandesa ThroughLine, contratada pela OpenAI, que é a desenvolvedora do ChatGPT, assim como por outras empresas como Anthropic e Google, busca redirecionar usuários para suporte em situações de crise, como automutilação, violência doméstica ou transtornos alimentares.
Essa iniciativa surge como uma resposta às crescentes preocupações sobre a segurança, especialmente diante de processos judiciais que acusam empresas de inteligência artificial de não impedir ou até incentivar episódios de violência. Em fevereiro, o governo do Canadá ameaçou intervir após a revelação de que um autor de massacre em uma escola foi banido da plataforma sem que as autoridades fossem notificadas.
A OpenAI confirmou a parceria com a ThroughLine, mas não forneceu detalhes adicionais. A ThroughLine está em negociações com o The Christchurch Call, uma iniciativa criada para combater o ódio online após um ataque terrorista na Nova Zelândia em 2019. O fundador da ThroughLine, Elliot Taylor, expressou interesse em expandir os serviços para incluir a prevenção ao extremismo violento.
O sistema funcionará em um modelo híbrido, utilizando um chatbot treinado para interagir com usuários que apresentem sinais de extremismo e encaminhá-los para serviços de saúde mental presenciais. A tecnologia está em fase de testes, mas ainda não há uma data definida para o lançamento.
Consultores e especialistas em segurança afirmam que a ferramenta pode ser útil para moderadores de fóruns online e para pais que desejam combater o extremismo entre os jovens. O sucesso da iniciativa dependerá da qualidade dos serviços de acompanhamento disponibilizados aos usuários.
