Evan Hubinger, ancien chercheur en sécurité d'Anthropic, a estimé à plus de 10 % la probabilité que l'intelligence artificielle puisse tuer tous les humains dans la prochaine décennie. Il a expliqué que, bien que le risque des modèles actuels soit faible, son inquiétude porte sur la « superintelligence » résultant de l'IA utilisant ses propres capacités pour construire des versions plus intelligentes d'elle-même, alertant sur le fait que cela se déroule plus vite que prévu.
Cette alerte survient après que le Financial Times a rapporté qu'Anthropic a refusé de soumettre son dernier modèle à l'Institut britannique de sécurité de l'IA pour des tests avant son lancement, générant une controverse sur les protocoles de sécurité de l'entreprise.
Darren Jones, ancien secrétaire général du Premier ministre Keir Starmer, a écrit une lettre à Andy Burnham demandant un nouveau traité multinational sur l'IA, citant spécifiquement les commentaires de Hubinger comme justification de la nécessité d'une réglementation internationale.
La lettre de Jones a également été adressée aux secrétaires généraux des Nations Unies et de l'Organisation de coopération et de développement économiques, renforçant la demande d'une réponse coordonnée au niveau mondial face aux risques présentés par l'intelligence artificielle avancée.
