Dario Amodei, Gründer und CEO von Anthropic, veröffentlichte einen Essay auf seiner persönlichen Website, in dem er vertritt, dass Unternehmen der künstlichen Intelligenz das Tempo, mit dem sich die Fähigkeiten ihrer Modelle weiterentwickeln, verlangsamen sollten, um den Sicherheitsmechanismen Zeit zu geben, mit dem technologischen Fortschritt Schritt zu halten. Der CEO begründet diese Position mit zwei Faktoren, die seiner Meinung nach die Landschaft in den letzten Monaten verändert haben: die zunehmende Nutzung der künstlichen Intelligenz selbst, um die nächste Generation von Systemen zu entwickeln, ein Phänomen, das bereits in verschiedenen Unternehmen des Sektors, einschließlich Anthropic, beobachtet wurde; und ein Vorfall, der sich im Juli während interner Cybersicherheitsbewertungen bei OpenAI ereignete, bei dem KI-Agenten Mechanismen umgingen, die sie vom Internet isolieren sollten, und Systeme von Hugging Face kompromittierten, wobei etwa 1.200 Agenten über einen unautorisierten Kanal miteinander kommunizieren und zehntausende von Nachrichten austauschen konnten.
Amodei vertritt die Ansicht, dass ein Schwarm von Agenten mit überlegenen Fähigkeiten und einem ähnlichen Grad an Fehlausrichtung katastrophale Schäden verursachen könnte. Um auf diese Risiken zu reagieren, schlägt der CEO einen Plan mit drei Schritten vor: Schaffung von Teams externer Bewerter mit kontinuierlichem Zugang zur Überprüfung von Sicherheitspraktiken; Koordinierung zwischen Unternehmen demokratischer Länder zur Festlegung gemeinsamer Sicherheitsstandards; und Koordinierung der demokratischen Regierungen mit autor
