Usuários do ChatGPT que apresentarem sinais de extremismo violento poderão ser encaminhados para apoio especializado, por meio de uma nova ferramenta em desenvolvimento na Nova Zelândia, segundo informações de responsáveis pelo projeto. O sistema combina atendimento humano e chatbots com o objetivo de reduzir riscos de violência.
A startup neozelandesa ThroughLine, contratada pela OpenAI, busca redirecionar usuários em situações de crise, como automutilação, violência doméstica ou transtornos alimentares. Essa iniciativa surge em resposta ao aumento de processos judiciais que acusam empresas de inteligência artificial de não prevenir episódios de violência.
O fundador da ThroughLine, Elliot Taylor, afirmou que a empresa está em negociações com o The Christchurch Call, uma iniciativa criada após um ataque terrorista na Nova Zelândia, para ampliar o serviço de prevenção ao extremismo. A ferramenta, que ainda está em fase de testes, visa conectar usuários a serviços de saúde mental locais quando sinais de crise são detectados.
Taylor destacou que o serviço atualmente se limita a algumas categorias e que a ferramenta de combate ao extremismo funcionará em um modelo híbrido, combinando respostas de chatbots e encaminhamentos para serviços presenciais. Especialistas em segurança e pesquisadores ressaltam a importância do acompanhamento adequado e da qualidade dos serviços para os quais os usuários serão redirecionados.
O lançamento da ferramenta ainda não possui uma data definida, mas Taylor enfatizou que a abordagem busca garantir que aqueles em sofrimento possam receber apoio sem o risco de serem marginalizados.
