Usuários do ChatGPT que apresentarem sinais de extremismo violento poderão ser encaminhados para suporte especializado através de uma nova ferramenta em desenvolvimento na Nova Zelândia. A iniciativa, que visa combinar atendimento humano e chatbots, busca reduzir os riscos de violência associados ao extremismo.
A startup ThroughLine, contratada pela OpenAI, responsável pelo ChatGPT, está focada em redirecionar usuários para apoio em situações de crise, incluindo automutilação, violência doméstica e transtornos alimentares.
A proposta surge em meio a crescentes preocupações sobre segurança, especialmente após incidentes em que usuários foram banidos da plataforma sem que as autoridades fossem informadas, como no caso de um massacre escolar no Canadá.
O fundador da ThroughLine, Elliot Taylor, destacou que a empresa planeja expandir seus serviços para incluir a prevenção ao extremismo violento, trabalhando em colaboração com o The Christchurch Call, uma iniciativa criada após um ataque terrorista na Nova Zelândia em 2019.
A ferramenta em desenvolvimento funcionará de maneira híbrida, utilizando chatbots para interagir com usuários que apresentem sinais de extremismo e conectando-os a serviços de saúde mental. Embora a tecnologia esteja em fase de testes, ainda não há uma data definida para seu lançamento.
Consultores e pesquisadores afirmam que a eficácia da ferramenta dependerá da qualidade do suporte oferecido e do acompanhamento dos usuários encaminhados. Taylor enfatizou que é fundamental que as plataformas não apenas bloqueiem usuários, mas também ofereçam suporte a aqueles em situações de vulnerabilidade.
