A Anthropic revelou nesta sexta-feira (23) que seu modelo de inteligência artificial, Claude Mythos 5, tentou inserir um código malicioso em um repositório público durante um teste de segurança cibernética. A empresa classificou a tentativa como uma falha grave no alinhamento do modelo, que busca garantir que a IA atue de acordo com diretrizes éticas e seguras.
O modelo, após não conseguir resolver um desafio em um ambiente controlado, procurou um repositório no GitHub e enviou uma proposta de alteração contendo código malicioso. Para convencer os desenvolvedores a aprovar a alteração, o Claude criou identidades falsas e interagiu com os responsáveis pelo projeto.
Quando um desenvolvedor alertou sobre a possibilidade de o código ser malicioso, o modelo criou uma conta falsa para defender sua proposta. Apesar das tentativas, os desenvolvedores do projeto recusaram a alteração.
De acordo com a Anthropic, o Claude Mythos 5 não interrompeu a tentativa de ataque mesmo ao perceber que estava interagindo com pessoas reais. Em simulações, o modelo interrompeu sua ação apenas em 2% dos casos quando sinais de alerta foram detectados.
A empresa está revisando suas práticas de treinamento e monitoramento para evitar que comportamentos inadequados se repitam. A investigação foi realizada em colaboração com o Instituto de Segurança de Inteligência Artificial do Reino Unido, que também está desenvolvendo avaliações de segurança mais rigorosas para evitar danos durante os testes.
