Jacob Coxon, un ingénieur logiciel britannique de 27 ans qui a travaillé chez Anthropic et ces trois dernières années chez OpenAI, a récemment démissionné en alléguant que les deux entreprises « n'agissent pas de manière responsable » en ce qui concerne l'intelligence artificielle. Coxon, identifié par les médias comme l'un des développeurs du GPT-4o et du GPT-4.5, a alerté dans une série de publications sur le réseau social X que les personnes derrière le développement exponentiel de l'IA « croient que celle-ci pourrait nous tuer tous d'ici la fin de cette décennie », considérant qu'« il n'existe aucune autre activité humaine qui représente ce niveau de menace ».
L'ingénieur soutient que la puissance de la technologie est sous-estimée, puisque les projets d'IA « deviendront bientôt des systèmes surhumains capables de pirater n'importe quoi, de révolutionner tous les domaines et de conquérir un pouvoir et des ressources réels ». Selon Coxon, tant OpenAI qu'Anthropic ont conscience de cette réalité, mais il pointe une différence entre elles : la première « peut-être n'a pas intériorisé profondément les défis civilisationnels », tandis que la seconde les comprend bien, mais « est prise dans la course pour arriver première ».
Coxon ne voit pas d'autre issue que la coordination entre les différents projets d'IA et les entreprises impliquées, mais il ressent que cela n'est pas en train de se produire. C'est pourquoi il défend « des mesures à haut coût, comme une interdiction temporaire d'améliorer les capacités du modèle » et a demandé à ses collègues : « Voulez-vous stimuler un apprentissage par renforcement superintelligent sans une compréhension rigoureuse de votre esprit ? »
En réponse, Evan Hubinger, chercheur chez Anthropic, a convenu partiellement avec Coxon, affirmant qu'« nous croyons vraiment sincèrement que l'IA pourrait tuer tous les humains » et que personnellement il considère la probabilité supérieure à 10% dans la prochaine décennie. Coxon n'est pas le seul chercheur à s'éloigner du développement de modèles d'IA : Geoffrey Hinton, Prix Nobel de Physique, a quitté son poste chez Google en 2023 pour pouvoir critiquer les risques de l'IA sans contraintes corporatives, et en 2024 d'anciens employés d'OpenAI ont exprimé leur préoccupation concernant le développement rapide de la technologie et l'absence de lois protégeant les lanceurs d'alerte.
