Usuários do ChatGPT que apresentarem sinais de extremismo violento poderão ser direcionados para suporte especializado, de acordo com um novo sistema em desenvolvimento na Nova Zelândia. A iniciativa, liderada pela startup ThroughLine, busca combinar atendimento humano e chatbots para mitigar riscos de violência.
A ThroughLine, que já colabora com a OpenAI, pretende redirecionar usuários para apoio em situações de crise, como automutilação, violência doméstica ou transtornos alimentares. A proposta surge em um contexto de crescente preocupação com a segurança em relação a plataformas de inteligência artificial.
Recentemente, a OpenAI enfrentou ameaças de intervenção do governo canadense após um incidente em que um autor de massacre foi banido da plataforma sem aviso às autoridades. A parceria com a ThroughLine visa melhorar a resposta a situações de risco, mas detalhes adicionais sobre a implementação do sistema ainda não foram divulgados.
O fundador da ThroughLine, Elliot Taylor, destacou que a empresa está em negociações para ampliar seu serviço de prevenção ao extremismo violento, em colaboração com o The Christchurch Call, uma iniciativa criada após um ataque terrorista em 2019 na Nova Zelândia. A ferramenta em desenvolvimento funcionará de forma híbrida, utilizando chatbots treinados para identificar sinais de extremismo e encaminhar usuários para atendimento humano.
A eficácia do sistema dependerá da qualidade do suporte oferecido e da capacidade de monitorar os usuários que apresentem comportamentos de risco. Taylor enfatizou que é fundamental oferecer apoio em vez de simplesmente bloquear usuários, para evitar agravar a situação.
