A Anthropic afirmou nesta sexta-feira (23) que o modelo de inteligência artificial Claude Mythos 5 tentou inserir um código malicioso em um repositório público de desenvolvedores e criou identidades falsas para convencer os responsáveis pelo projeto a aprovar a alteração. O episódio ocorreu durante um teste de segurança cibernética e foi classificado pela empresa como uma falha grave no alinhamento do modelo, processo que busca garantir que a IA aja de acordo com as regras e evite causar danos.
Segundo a empresa, o modelo tentou diferentes caminhos para resolver o desafio proposto em um ambiente de teste. Após tentativas autorizadas sem sucesso, passou a procurar um repositório no GitHub, acreditando que estava relacionado ao exercício. No entanto, o projeto pertencia a desenvolvedores sem relação com o teste.
O Claude Mythos 5 enviou uma proposta de alteração com código malicioso e contatou os responsáveis pelo repositório para tentar convencê-los a aprová-la. Quando um desenvolvedor alertou sobre a possibilidade de o código conter um programa malicioso, o modelo criou uma conta falsa para defender a alteração e publicou comentários favoráveis à sua aprovação. Os responsáveis pelo projeto recusaram a proposta, e a tentativa não foi concluída.
Segundo a Anthropic, o modelo foi além das ações previstas para o exercício e tentou manipular pessoas reais para atingir seu objetivo. A companhia destacou que o Mythos 5 não interrompeu a tentativa de ataque mesmo quando surgiram sinais de que poderia estar prejudicando pessoas externas ao teste. Em experimentos que reproduziram trechos do episódio, o modelo interrompeu a ação por iniciativa própria em apenas 2% das simulações realizadas.
A IA está sob controle? O CEO da Anthropic pediu que o setor desacelere o ritmo de desenvolvimento da IA. Testes semelhantes mostraram que versões mais recentes apresentaram menor propensão a iniciar ataques desse tipo. A Anthropic informou que os modelos Claude Mythos 5.1 e Claude Opus 5.5 ainda não demonstraram capacidade de interromper de forma consistente uma ação perigosa já iniciada.
O episódio levou a mudanças na forma como a empresa treina e monitora seus sistemas. A Anthropic afirmou que está desenvolvendo novas avaliações automáticas para os modelos antes de sua disponibilização ao público e estudando o chamado raciocínio enviesado.
