Les dirigeants de l'industrie de l'intelligence artificielle, y compris des cadres d'entreprises comme Anthropic, OpenAI et Google DeepMind, ont tiré la sonnette d'alarme sur les risques que des systèmes avancés d'IA échappent au contrôle humain. Dario Amodei, PDG d'Anthropic, entreprise responsable du développement de Claude, a déclaré qu'une combinaison d'agents d'intelligence artificielle de plus en plus puissants pourrait, en l'espace de six mois à un an seulement, prendre le contrôle de parties significatives d'Internet.
La course technologique mondiale, impulsada par la dispute entre les États-Unis et la Chine pour la domination dans le développement de l'IA, a augmenté la pression pour des avancées rapides, malgré les préoccupations en matière de sécurité. Les chercheurs et les dirigeants soutiennent que la vitesse du développement dépasse la capacité des gouvernements et des entreprises de comprendre et de contrôler ses effets possibles, réclamant des mécanismes indépendants d'évaluation de la sécurité.
Il n'existe pas de consensus entre les spécialistes sur la possibilité que l'IA représente une menace existentielle pour l'humanité. L'ancien chercheur en sécurité d'Anthropic, Jacob Coxon, a estimé à 10 % la possibilité que l'intelligence artificielle provoque l'extinction humaine dans une décennie, bien que cette évaluation soit loin de représenter un consensus scientifique.
Face à ce scénario, la pression croît pour que les gouvernements établissent des règles internationales qui suivent l'évolution de la technologie. Le défi est de trouver un équilibre entre innovation et sécurité, car une réglementation excessivement rigide pourrait réduire la compétitivité, tandis que l'absence de règles peut permettre que des systèmes puissants fonctionnent sans mécanismes suffisants de contrôle.
