Gemini 4 Pro als Flash-Modell getarnt: Der Arena-Leak, die Benchmark-Zahlen und was davon belastbar ist

Die KI-Story der Woche kam nicht aus einer Keynote, sondern aus dem unscheinbarsten Ort der Branche: einem Blind-Test-Leaderboard unter einem Namen, der längst vergeben ist. Am Wochenende tauchte im Arena-Pool ein Modell auf, das als Gemini 3.8 Flash gelabelt war und sich in keiner einzigen Beziehung so verhielt. Bei einer Aufgabe blieb es rund zehn Minuten still und antwortete dann mit Tausenden Zeilen präzisen Codes, statt in Sekunden eine Näherung abzuliefern. Daraus entstand innerhalb weniger Tage eine der unruhigsten Debatten des Monats: Leaked Benchmark-Charts, rückgerechnete Backend-Spezifikationen, ein Kontextfenster, das es auf keinem öffentlichen Modell gibt, Preise, die den Wettbewerb unter Druck setzen würden, und die Frage, die Google das ganze Jahr begleitet hat, was die Verbesserungen eigentlich antreibt. Dieser Beitrag sortiert, was belastbar ist und was Gerücht bleibt, mit Zahlen, Beobachtungen und den Grenzen beider Seiten.

Die Arena stammt aus einem UC-Berkeley-Team, das Prinzip seit 2023: zwei Modelle antworten anonym, die Nutzer stimmen ab, die Labore bekommen Blind-Daten ohne Markenbonus. Anonyme Modelle sind dort Alltag. Mitte August stieg zum Beispiel Ox Alpha, ein namenloser Kandidat, binnen 48 Stunden in die Top 3 des Leaderboards und wurde bis heute von niemandem beansprucht. Ungewöhnlich an diesem Fall ist deshalb nicht die Anonymität, sondern die Tarnung: Es erschien nicht ein neuer Name, sondern der eines Modells, das Google am 2. September öffentlich ausgeliefert hat, live, dokumentiert, über den Endpoint erreichbar. Wer unter dem Label eines Speed-Modells Verhalten zeigt, das nicht zur Flash-Klasse passt, betreibt keine Stealth-Testphase mehr, sondern Verkleidung. Der Auslöser war eine konkrete Aufgabe: Ein Nutzer bat um einen Vektor-Render der PlayStation 5 in reinem SVG. Das gelabelte Modell streamte nichts, lieferte keine Teilergebnisse, sondern blieb rund zehn Minuten still und antwortete dann mit Tausenden Zeilen Code, der jede Kurve, jeden Schatten und selbst die Akzente des optischen Laufwerks traf. Das echte Gemini 3.8 Flash beantwortet dieselbe Aufgabe in 10 bis 15 Sekunden, mit Näherungsgeometrie, die eher eine Konsole andeutet als sie zeigt.

Danach fiel die Tarnung schnell. Nutzer verglichen Voxel-Pagoden und einen BMW-M4-Render, jeweils Seite an Seite mit älteren Gemini-Checkpoints: Bei Licht, Tiefenwirkung, Schattierung und geometrischer Ausrichtung war der Unterschied nicht graduell, sondern kategorial. Den klassischen Pelikan-auf-Fahrrad-Prompt, inoffiziell die Räumlichkeitsprüfung der Branche, bestand das Modell in einem Durchlauf, unter Sternenhimmel, ohne Clipping und ohne verschobene Vektorformen. Eine zweite Variante verlangte Farbkorrektur, eine Tag-Nacht-Umschaltung, funktionierende Scheinwerfer, anatomische Beschriftungen am Vogel und Taktregelung am Pedal, ebenfalls in einem einzigen Durchlauf. Der Entwickler Pankaj Kumar, der real Zeit mit dem Modell verbracht hat, fasst zusammen: Es sei schnell, wo es zähle, der Sprung bei der SVG- und 3D-Generierung sichtbar, und es löse komplizierte, mehrteilige Aufgaben aus einem einzigen Prompt, statt den Nutzer durch vier Korrekturrunden zu begleiten. Genau dieses Muster, hohe Qualität nach langer Stille, ist das Kennzeichen von Test-Time-Compute: Das Modell plant, schreibt, führt aus, debuggt und poliert intern, bevor ein einziges Token beim Nutzer ankommt. Die zehnminütige Wartezeit ist demnach kein Bug und kein Überlastungszeichen, sondern die sichtbare Seite von Rechenzeit vor der Antwort.

Die kursierenden Charts, zusammengetragen und eingeordnet vom Finanzportal Biggo, listen vier Führrungen: Im DeepSWE v1.1 Test für Agenten-Coding liegt das Modell bei rund 88 Prozent, knapp zwei Prozentpunkte über OpenAI Astra. Im GDPval-AA v2 Test für reale Wissensarbeit ist es das einzige Modell mit einem Elo-Rating von 2064. Im Terminal-bench 2.1 erreicht es 95,3 Prozent, Platz eins. Im OSWorld-2.0 Benchmark für Computer-Use liegt es bei 86,8 Prozent, über Astra und über Fable 5.1 von Anthropic. Vier Benchmarks, vier Führrungen, dazu die Aussage, dass dieselbe Version bei der Vorab-Evaluierung stark abgeschnitten habe und die Post-Training-Arbeit weiterlaufe. Der Rahmen bleibt trotzdem entscheidend: Google hat keine dieser Zahlen offiziell bestätigt. Sie kursieren als Screenshots und Sammlungen, nicht als verlinkte Testläufe, und die Lesart, es handle sich um einen frühen Checkpoint von Gemini 4 Pro unter altem Namen, stammt von Entwicklern nach Hands-on-Tests, nicht vom Unternehmen.

Beim Geld wird es erneut konkret und erneut vorläufig. Die kursierenden Zahlen nennen 2,25 Dollar pro Million Input-Tokens und 11,25 Dollar pro Million Output-Tokens, deutlich unter dem, was vergleichbare Flaggschiffe verlangen. Ein Forscher mit Backend-Zugang will außerdem ein Eingabelimit von 10 Millionen Tokens gesehen haben, dazu 256.000 Tokens Ausgabelimit, ein dauerhaftes Gedächtnis über Konversationsgrenzen hinweg und direkten Internetzugang ohne API-Umweg. Jedes einzelne dieser Merkmale wäre ein echtes Ereignis, und keines ist bisher bestätigt. Genau darin liegt die Falle dieser Story: Je konkreter die Zahlen klingen, desto schneller wandern sie in Vergleichstabellen und Kaufentscheidungen, obwohl ihre Quelle ein anonymes Arena-Label und geleakte Charts sind. Wer sie heute zitiert, zitiert ein Gerücht mit Dezimalstellen. Die Einschätzung, dass das Modell im Fall der Richtigkeit in Coding, Agenten-Aufgaben und Computer-Use konkurrenzfähig wäre und beim Preis unter beiden Konkurrenzmodellen läge, ist eine bedingte Rechnung, keine Produktankündigung.

Der heißeste Teil der Debatte betrifft nicht das Modell, sondern die Methode dahinter. Jasjeet Sekhon, Chief Strategy Officer bei Google DeepMind, sagte bei einer Veranstaltung in Berkeley, Recursive Self-Improvement sei zu einem kritischen Bestandteil der Logik hinter den massiven KI-Investitionen geworden. Am 9. September veröffentlichte das Leak-Konto Lyra den Satz huge congRatulationS Indeed, dessen Großbuchstaben exakt die Buchstabenfolge RSI ergeben, adressiert an Google DeepMind. Aus beidem baute die Szene die Behauptung, Google habe RSI erreicht und deshalb Gemini 4 vorzeitig fertiggestellt. Die Gegenprobe fällt nüchtern aus: Eine Auswertung des Vandata-Teams findet hinter den kühnsten Behauptungen weder eine namentliche Quelle noch eine Benchmark-Liste noch eine einzige veröffentlichte Zahl. Google selbst hat RSI nie als erreicht bestätigt. Offiziell ist die Sache bescheidener: Das Unternehmen beschreibt für Gemini 3.8 Flash langlaufende agentic loops, die zugrundeliegende Modelle rekursiv evaluieren und verfeinern, und ein DeepMind-Forscher nannte den Release einen gewaltigen Sprung für RSI. Zwischen rekursiver Evaluierung im Trainingsloop und Recursive Self-Improvement im vollen Sinne liegt eine Distanz, die in der viralen Debatte gern untergeht.

Trotz aller Vorbehalte bleibt ein praktischer Kern. Erstens: Blind-Tests auf der Arena sind weiterhin das früheste verlässliche Signal, weil sie Markenbonus und Marketing ausschalten, auch wenn die Labels, wie dieser Fall zeigt, absichtlich falsch sein können. Zweitens: Stimmt auch nur die Hälfte der Spezifikationen, verschiebt das die Kostenrechnung für lange Agentenläufe erneut, denn ein Eingabelimit von 10 Millionen Tokens und ein dauerhaftes Konversationsgedächtnis sind genau die Eigenschaften, die Mehrschritt-Jobs über Dutzende Schritte stabilisieren. Drittens: Die Entscheidung fällt ohnehin beim offiziellen Release, und der lässt sich nicht durch Leak-Optimismus vorziehen. Bis dahin gilt die alte Unterscheidung: Beobachtungen aus dem echten Betrieb sind Belege, Screenshots von Benchmarks sind Versprechen. Der Abstand zwischen beiden zahlt sich spätestens dann aus, wenn ein Modellwechsel im eigenen Stack ansteht und die Frage ist, ob man heute umbaut oder abwartet.

Eigene Einordnung aus dem täglichen Agentenbetrieb, Stand 19.09.2026