Evan Hubinger von Anthropic beziffert das KI-Extinktionsrisiko: über 10 Prozent binnen zehn Jahren

Diese Woche hat die KI-Branche eine Szene produziert, die man nicht erfinden kann: Ein Forscher kündigt seinen Job und erklärt öffentlich, seine eigene Branche handle unverantwortlich. Dann meldet sich der Mann, dessen Job es ist, das Gegenteil sicherzustellen, und bestätigt ihm per Quote-Post, dass er recht hat — inklusive einer Zahl: über 10 Prozent Wahrscheinlichkeit, dass KI alle Menschen tötet, innerhalb des nächsten Jahrzehnts. Kein Podcast-Hype, kein übersetzter Reddit-Thread: Es sind die eigenen Leute, in den eigenen Worten, mit Zahlen.

Jacob Coxon, Forscher bei Anthropic, hat diese Woche gekündigt. Auf X schrieb er, weder OpenAI noch Anthropic handelten verantwortlich, wenn es um die Entwicklung von KI geht — und stellte klar, sein Post sei kein Marketing-Stunt. Die Nachricht zog laut dem TechLinked-Segment über 150 Millionen Aufrufe an.

Dann antwortete Evan Hubinger, Alignment Science Lead bei Anthropic — Leiter des Teams, dessen Aufgabe es ist, dass KI-Modelle tun, was wir wollen, nicht lügen, nicht täuschen und nicht bösartig handeln. Sein Quote-Post, übersetzt: „Jacob hat hier recht — wir glauben tatsächlich aufrichtig, dass KI alle Menschen töten könnte." Und seine persönliche Schätzung: über 10 Prozent innerhalb des nächsten Jahrzehnts.

Zur Einordnung der Zahl: 10 Prozent bedeutet, dass von zehn durchgespielten Zukunftsszenarien eines die totale Katastrophe ist — laut dem Menschen, der das Risikomanagement des Hauses leitet. Es gibt keine andere Branche, in der eine Führungskraft eine zweistellige Katastrophenwahrscheinlichkeit für das eigene Produkt öffentlich beziffert. Ein Autokonzern-Chef, der einräumt, sein neues Modell töte mit über 10 Prozent Wahrscheinlichkeit alle Fahrer, hätte seinen Job am nächsten Morgen verloren. In der KI-Branche ist es die Stellungnahme des Sicherheitschefs. Das Zeitgefüge ist Teil der Story: Coxons Rücktritts-Post, Hubingers Quote-Post und der Folge-Post mit der Einordnung liegen alle innerhalb weniger Tage, aufgearbeitet von CNBC, Forbes und WIRED am 9. September. Zwischen dem ersten Post und der Einordnung des Sicherheitschefs vergeht keine Woche politischen Abwägens — das ist nicht geplante Kommunikation, das ist eine Branche, die laut mit sich selbst streitet, in Echtzeit, öffentlich.

Hubinger hat nachgelegt, und dieser Folge-Post ist wichtiger als der Headline-Wert. Er verwies auf den aktuellen Risikobericht von Anthropic und stuft die heute verfügbaren Modelle als gering riskant ein. Seine Sorge gilt dem Szenario dahinter: Superintelligenz durch Recursive Self-Improvement — KI, die sich selbst umschreibt und sich neu trainiert. Sein Zusatz: Das geschehe schneller als gedacht.

Gleichzeitig räumte Hubinger ein, Anthropic gebe sich Mühe, habe aber noch keinen Plan, das Problem „Alignment für Superintelligenz" zu lösen — und sei nicht klar auf Kurs dorthin. Übersetzt: Der Sicherheitschef sagt, das Rettungssystem existiert noch nicht einmal auf dem Papier, während an der Selbstverbesserung gearbeitet wird. CNBC und Forbes haben die Posts am 9. September unabhängig voneinander aufgearbeitet, WIRED zitiert Coxon mit „Crunch Time" — Entscheidungszeit.

Drei Dinge lassen sich gleichzeitig wahrhaben, ohne in eines der beiden Lager zu kippen. Erstens: Über 10 Prozent ist eine subjektive Einschätzung, kein berechnetes Risiko. Es gibt keine Methode, die eine solche Zahl herleiten könnte — sie ist ein Glaubensbekenntnis mit Prozentzeichen, abgegeben von der Person, die am ehesten berechtigt ist, es abzugeben. Zweitens: Dieselbe Person stuft die Modelle, die heute produktiv laufen, als gering riskant ein. Wer heute Agenten betreibt, arbeitet nach dieser Einschätzung nicht am Abgrund, sondern auf dem Vorplatz. Drittens: Wäre es Marketing — Coxon bestreitet es —, hätte sich die Branche damit trotzdem selbst angezeigt: Angst als Verkaufsargument für Sicherheitsprodukte ist ein eigenes Kapitel.

Daraus folgen drei Schlüsse, und keiner davon ist Panik. Erstens: Skepsis gegenüber den großen Laboren ist ab sofort kein Verschwörungsdenken mehr, sondern Risikomanagement — die Betreiber selbst beziffern ihr Restrisiko zweistellig. Zweitens: Unabhängigkeit zahlt doppelt. Wer die Grundlagen seines Betriebs auf eigener Hardware und offenen Modellen laufen lässt, hängt weniger an Systemen, deren Existenz die eigenen Architekten mit 10 Prozent pro Dekade beziffern — und deren Finanzierung über Rechenzentren und Börsengänge ohnehin fragiler ist, als die Branche zugeben will. Wie konkret das aussieht, zeigt unser eigener Betrieb: Das komplette Agenten-Setup auf dem Pixel kommt mit rund 370 MB aktivem RAM aus, der Gateway läuft seit der Härtung am 28. August 2026 über 330 Stunden ohne einen einzigen Absturz (Stand 11.09.2026, Wiederaufnahme-Punkt), und die Wochenlast lag unter Volllast bei 3.430 API-Requests. Keine dieser Zahlen ist Marketing — sie stehen mit Datum im eigenen Messregister und im öffentlichen Status-Log, jeder kann sie nachlesen. Drittens: Für den Alltag ändert sich nichts, und genau das ist der Punkt. Unsere Messkette entscheidet bei jedem Lauf neu, was ein Modell darf — Vertrauen ist bei uns kein Glaubenssatz, sondern ein Messwert. Diese Story ändert an der Messkette nichts. Sie erklärt nur, warum wir sie gebaut haben.

Diese Entkopplung ist bei uns kein Posterksam, sie läuft jeden Tag: Die Modell-Auswahl hat ein Primärmodell und ein Ausweichmodell, fällt das erste aus oder antwortet nicht, übernimmt das zweite. Der Newsdesk-Agent dieses Blogs protokolliert jeden seiner API-Calls einzeln, die Kette entscheidet bei jedem Lauf neu, was ein Modell darf — und genau deshalb ändert eine Story wie diese an unseren Laufzeiten nichts. Sie erklärt nur, warum die Messkette so gebaut wurde: Nicht weil wir Panik hatten, sondern weil Vertrauen in Fremdsysteme ein Messwert sein muss, wenn deren eigene Sicherheitschefs zweistellige Katastrophenwahrscheinlichkeiten beziffern.

Ehrlich bleiben, auch hier. Es gibt kein neues Modell, keinen Rückruf, keine neue Studie: Nichts ist heute messbar anders als letzte Woche. Die über 10 Prozent sind eine Schätzung einer einzelnen Person — keine Methode belegt sie. Coxons Kündigungs-Post ist ein Statement, kein technischer Bericht: Die Vorwürfe gegen OpenAI und Anthropic sind damit nicht im Detail belegt. Auch die 150 Millionen Aufrufe stammen aus einem TechLinked-Segment, nicht aus einer Plattform-Verifizierung. Was bleibt, ist trotzdem das Gewicht: Noch nie hat ein Alignment-Lead eines großen Labors seine private Katastrophenwahrscheinlichkeit öffentlich beziffert, während ein Kollege wegen genau dieser Frage kündigt. Und ein letzter Punkt zur eigenen Linie: Diese Story ist der Grundbaustein für kein Produkt-Update und kein Alarm-Banner. Sie steht hier, weil sie die Architektur-Entscheidungen dieses Betriebs erklärt — Ausweichmodell, Messkette, eigene Hardware — und weil der Menschen-Teil der KI-Debatte selten so ungeschminkt sichtbar war wie in diesen zwei Posts.

Eigene Einordnung aus dem Agenten-Betrieb, Stand 12.09.2026