O ChatGPT, desenvolvido pela OpenAI, está testando uma nova ferramenta que visa identificar usuários que apresentem sinais de extremismo violento e encaminhá-los para suporte especializado. A iniciativa está sendo desenvolvida na Nova Zelândia e combina atendimento humano com chatbots para mitigar riscos de violência.
A startup ThroughLine, contratada pela OpenAI, tem como objetivo redirecionar usuários para serviços de apoio em situações de crise, como automutilação, violência doméstica e transtornos alimentares. Essa abordagem surge em resposta a preocupações crescentes sobre a segurança relacionada ao uso de inteligência artificial.
Recentemente, a OpenAI enfrentou ameaças de intervenção do governo canadense após um incidente em que um usuário banido da plataforma foi responsável por um ataque em uma escola. A parceria com a ThroughLine foi confirmada, mas detalhes adicionais não foram divulgados.
O fundador da ThroughLine, Elliot Taylor, destacou que a empresa busca expandir seus serviços para incluir a prevenção ao extremismo violento, em colaboração com o The Christchurch Call, uma iniciativa criada para combater o ódio online após um ataque terrorista na Nova Zelândia em 2019.
A ferramenta em desenvolvimento funcionará em um modelo híbrido, utilizando chatbots para interagir com usuários em risco e conectá-los a serviços de saúde mental. A tecnologia ainda está em fase de testes, sem data definida para lançamento.
Consultores de contraterrorismo e pesquisadores de IA afirmam que a eficácia da ferramenta dependerá da qualidade dos serviços de acompanhamento oferecidos aos usuários. Taylor enfatizou a importância de não apenas bloquear usuários, mas também fornecer suporte em momentos de vulnerabilidade.
