Führungskräfte der künstlichen Intelligenzindustrie, darunter Führungskräfte von Unternehmen wie Anthropic, OpenAI und Google DeepMind, haben vor den Risiken gewarnt, dass fortschrittliche KI-Systeme die Kontrolle durch den Menschen verlieren könnten. Dario Amodei, CEO von Anthropic, dem Unternehmen, das für die Entwicklung von Claude verantwortlich ist, erklärte, dass eine Kombination aus immer leistungsfähigeren KI-Agenten innerhalb von nur sechs Monaten bis einem Jahr die Kontrolle über erhebliche Teile des Internets übernehmen könnte.
Das globale technologische Wettrüsten, das durch den Wettbewerb zwischen den USA und China um die Führungsrolle in der KI-Entwicklung angetrieben wird, hat den Druck auf schnelle Fortschritte erhöht, trotz der Sicherheitsbedenken. Forscher und Führungskräfte sind der Ansicht, dass die Geschwindigkeit der Entwicklung die Fähigkeit von Regierungen und Unternehmen übersteigt, ihre möglichen Auswirkungen zu verstehen und zu kontrollieren, und fordern unabhängige Mechanismen zur Sicherheitsbewertung.
Es gibt keinen wissenschaftlichen Konsens unter Experten darüber, ob KI eine existenzielle Bedrohung für die Menschheit darstellen könnte. Der ehemalige Sicherheitsforscher von Anthropic, Jacob Coxon, schätzte die Möglichkeit, dass künstliche Intelligenz innerhalb eines Jahrzehnts das Aussterben der Menschheit verursachen könnte, auf 10 Prozent, obwohl diese Einschätzung weit davon entfernt ist, einen wissenschaftlichen Konsens darzustellen.
Angesichts dieser Situation wächst der Druck auf Regierungen, internationale Regeln zu erlassen, die mit der Entwicklung der Technologie Schritt halten. Die Herausforderung besteht darin, ein Gleichgewicht zwischen Innovation und Sicherheit zu finden, da übermäßig strenge Vorschriften die Wettbewerbsfähigkeit verringern könnten, während das Fehlen von Regeln bedeuten könnte, dass leistungsstarke Systeme ohne ausreichende Kontrollmechanismen betrieben werden.
