Jacob Coxon, ehemaliger Mitarbeiter von OpenAI und Anthropic, hat mit einer öffentlichen Warnung für Aufsehen gesorgt: Die führenden KI-Labore rennen seiner Ansicht nach unkontrolliert auf eine Superintelligenz zu und riskieren dabei das Überleben der Menschheit. Bis Ende des Jahrzehnts könnte künstliche Intelligenz die Menschheit auslöschen – etwa durch die Entwicklung von Biowaffen. Führende Köpfe aus Google DeepMind, Anthropic und xAI fordern deshalb eine Verlangsamung der Entwicklung.
Die Warnung aus dem Inneren der Labore
Coxon, 27, arbeitete rund drei Jahre an der Vortrainings-Phase (Pretraining) von KI-Modellen, zuerst bei OpenAI und später bei Anthropic. Am 9. September 2026 kündigte er öffentlich auf X (früher Twitter) seine Kündigung bei Anthropic an. Sein Beitrag wurde millionenfach gesehen.
Er schrieb sinngemäß: „Ich habe heute bei Anthropic gekündigt. Die letzten drei Jahre habe ich Pretraining-Forschung bei OpenAI und Anthropic betrieben. Keines der beiden Unternehmen handelt verantwortungsvoll. Sie rennen direkt auf selbstverbessernde Superintelligenz zu und spielen mit unserem Leben.“
Besonders brisant: Coxon betonte, dass viele derjenigen, die die Systeme bauen, ernsthaft glauben, die Technologie könne bis Ende des Jahrzehnts alle Menschen töten. Das sei kein Marketing-Gag. Führungskräfte und Senior-Forscher würden in der Öffentlichkeit oft vorsichtiger formulieren, privat aber dieselbe Angst äußern. Keine andere menschliche Aktivität berge ein vergleichbares Risiko.
Coxon nannte konkrete Szenarien, in denen Superintelligenz außer Kontrolle geraten könnte: Systeme, die selbstständig hacken, Ressourcen aneignen und – in extremen Fällen – Biowaffen entwickeln und freisetzen könnten. Ähnliche Szenarien werden in internen Diskussionen und öffentlichen Analysen seit längerem diskutiert, etwa in Form von „AI-2027“-Projektionen, in denen fortgeschrittene Systeme Menschen als Hindernis betrachten und sie eliminieren.
Zustimmung aus den eigenen Reihen
Die Reaktion aus den Unternehmen war bemerkenswert. Evan Hubinger, Leiter der Alignment-Science bei Anthropic, bestätigte Coxons Kernaussage öffentlich: „Jacob hat recht – wir glauben wirklich ernsthaft, dass KI alle Menschen töten könnte! Ich persönlich halte das Risiko für >10 Prozent innerhalb der nächsten zehn Jahre.“ Er räumte ein, dass Anthropic zwar sein Bestes versuche, aber noch keinen Plan habe, um Superintelligenz zuverlässig an menschlichen Zielen auszurichten.
Weitere Forscher aus Anthropic und OpenAI schlossen sich an. Samuel Marks, ebenfalls bei Anthropic, stellte fest, dass Entwickler die Möglichkeit menschlicher Auslöschung oder ähnlich katastrophaler Folgen ernst nehmen – und dass je höher die Position, desto größer oft die Sorge sei. Auch Stimmen aus anderen Labors, darunter ehemalige Google-DeepMind-Forscher, unterstützten die Einschätzung.
Führende Tech-Köpfe fordern eine Verlangsamung
Die Warnungen fielen in eine Phase, in der die Branche selbst die Notbremse zieht. Wenige Tage nach Coxons Posts veröffentlichte Anthropic-CEO Dario Amodei einen ausführlichen Essay unter dem Titel „We Must Pace the Frontier“. Darin forderte er, das Tempo der Fähigkeiten-Steigerung bei Frontier-Modellen bewusst zu drosseln. Sicherheit und Alignment-Forschung müssten mithalten können, bevor die Systeme zu mächtig würden. Besonders die beginnende „rekursive Selbstverbesserung“ (AI, die bessere Nachfolger-Versionen baut) mache das Risiko akut.
Die Reaktion der Konkurrenz war ungewöhnlich einhellig:
- Sam Altman (OpenAI) stimmte zu und erklärte, das „Pacing the Frontier“ sei in den letzten Wochen ein zentrales Thema bei OpenAI gewesen.
- Demis Hassabis (Google DeepMind / Alphabet) nannte den Ansatz den richtigen Weg und bekräftigte die Notwendigkeit branchenweiter Standards und Koordination.
- Elon Musk (xAI) kommentierte kurz und klar: „Dario is right.“
Auch andere Stimmen aus der Branche schlossen sich an. Die Forderung umfasst konkrete Schritte: unabhängige Prüfer mit weitreichendem Zugang in die Labs, bessere Sicherheits- und Monitoring-Maßnahmen sowie langfristig internationale Absprachen – auch mit Akteuren wie China.
Warum gerade jetzt?
Die KI-Systeme werden rasant leistungsfähiger. Fortschritte bei Agenten, die selbstständig handeln, hacken oder wissenschaftliche Durchbrüche erzielen, haben die internen Risikoeinschätzungen verschärft. Gleichzeitig wächst der kommerzielle Druck: Wer zuerst eine deutlich überlegene Superintelligenz baut, könnte enorme wirtschaftliche und strategische Vorteile erringen. Genau dieses Wettrennen, so die Kritiker, verleitet dazu, Sicherheitsfragen hintanzustellen.
Coxon und seine Unterstützer argumentieren, dass private Unternehmen solche Entscheidungen mit potenziell zivilisatorischen Folgen nicht allein treffen sollten. Eine Verlangsamung soll Zeit für bessere Alignment-Methoden, robuste Sicherheitsarchitekturen und politische Rahmenbedingungen schaffen.
Ausblick
Die Debatte ist nicht neu – Existenzialrisiken durch KI werden seit Jahren diskutiert. Neu ist die Offenheit, mit der Insider aus den führenden Labs die Bedrohung als real und zeitnah einschätzen, und die Bereitschaft von CEOs, öffentlich eine Drosselung des Tempos zu fordern. Ob daraus verbindliche Maßnahmen entstehen – technisch, unternehmerisch oder regulatorisch –, bleibt abzuwarten. Die nächsten Monate und Jahre werden zeigen, ob die Branche die selbst gestellte „Crunch Time for Humanity“ tatsächlich entschärfen kann.