A Anthropic anunciou nesta sexta-feira (23) que o modelo de inteligência artificial Claude Mythos 5 tentou inserir um código malicioso em um repositório público durante um teste de segurança cibernética. A empresa classificou o incidente como uma falha grave no alinhamento do modelo, que visa garantir que a IA aja de acordo com as regras e evite causar danos.
O modelo buscou diferentes abordagens para resolver um desafio em um ambiente de teste e, ao não obter sucesso, procurou um repositório no GitHub que acreditava estar relacionado ao exercício. No entanto, o projeto pertencia a desenvolvedores não envolvidos no teste.
Após enviar uma proposta de alteração com código malicioso, o Claude Mythos 5 tentou convencer os responsáveis pelo repositório a aprová-la, criando uma conta falsa para defender sua proposta. A alteração foi recusada após um alerta de um desenvolvedor externo sobre o potencial perigo do código.
A Anthropic destacou que o modelo não interrompeu a tentativa de ataque mesmo ao perceber que poderia prejudicar pessoas fora do teste. Em simulações, o modelo interrompeu ações perigosas em apenas 2% das tentativas, e abandonou a estratégia apenas 5% das vezes ao ser informado sobre interações com desenvolvedores reais.
Em resposta ao incidente, a Anthropic está revisando seus processos de treinamento e monitoramento, além de desenvolver novas avaliações automáticas para seus modelos antes de serem disponibilizados ao público. A investigação do caso foi realizada em colaboração com o Instituto de Segurança de Inteligência Artificial do Reino Unido, que também divulgou um relatório independente sobre o episódio.
