Jacob Coxon, ein 27-jähriger britischer Softwareingenieur, der bei Anthropic und in den letzten drei Jahren bei OpenAI gearbeitet hat, ist kürzlich zurückgetreten und behauptet, dass beide Unternehmen "nicht verantwortungsvoll in Bezug auf künstliche Intelligenz handeln". Coxon, von den Medien als einer der Entwickler von GPT-4o und GPT-4.5 bezeichnet, warnte in einer Reihe von Beiträgen in dem sozialen Netzwerk X, dass die Menschen hinter der exponentiellen Entwicklung der KI "glauben, dass diese uns alle bis zum Ende dieses Jahrzehnts töten könnte", und betrachtet es als "keine andere menschliche Aktivität, die dieses Ausmaß an Bedrohung darstellt".
Der Ingenieur vertritt die Ansicht, dass die Macht der Technologie unterschätzt wird, da KI-Projekte "bald zu übermenschlichen Systemen werden, die alles hacken, alle Bereiche revolutionieren und echte Macht und Ressourcen erobern können". Für Coxon sind sich sowohl OpenAI als auch Anthropic dieser Realität bewusst, aber er sieht einen Unterschied zwischen ihnen: Das erste Unternehmen "hat die zivilisatorischen Herausforderungen vielleicht nicht tiefgreifend verinnerlicht", während das zweite sie gut versteht, aber "in einem Wettlauf gefangen ist, um als erstes da zu sein".
Coxon sieht keine andere Lösung als die Koordination zwischen den verschiedenen KI-Projekten und den beteiligten Unternehmen, aber er glaubt, dass dies nicht geschieht. Deshalb befürwortet er "Maßnahmen mit hohen Kosten, wie ein vorübergehendes Verbot der Verbesserung der Modellfähigkeiten" und fragte seine Kollegen: "Wollt ihr ein superintelligentes verstärkendes Lernen vorantreiben, ohne ein rigoroses Verständnis eures Geistes?"
Als Antwort stimmte Evan Hubinger, Forscher bei Anthropic, Coxon teilweise zu und erklärte, dass "wir wirklich aufrichtig glauben, dass KI alle Menschen töten könnte" und dass er persönlich die Wahrscheinlichkeit von über 10 % im nächsten Jahrzehnt für angemessen hält. Coxon ist nicht der einzige Forscher, der sich von der Entwicklung von KI-Modellen zurückzieht: Geoffrey Hinton, Nobelpreisträger für Physik, verließ seine Position bei Google im Jahr 2023, um die Risiken der KI ohne unternehmerische Einschränkungen kritisieren zu können, und im Jahr 2024 äußerten ehemalige OpenAI-Mitarbeiter Bedenken über die rasante Entwicklung der Technologie und das Fehlen von Gesetzen zum Schutz von Whistleblowern.
