GPT-6 Astra gegen Fable 5.1: Was 100 Stunden echter Agenten-Arbeit zeigen

Ich habe gestern einen Test angesehen, der genau die Frage beantwortet, die unser Astra-Rollout-Beitrag offen gelassen hat: Was taugt GPT-6 Astra in echter Agenten-Arbeit, nicht in Benchmarks? Nate Herk hat beide Modelle durch 15 reale Anwendungsfälle geschickt. Webdesign, Organisation, Steuern, Browser-Automatisierung, Vision, Software-Bau. 100 Stunden Testzeit, jede Aufgabe mit Zeit und Kosten gemessen. Das Ergebnis ist die ehrlichste Gegenüberstellung, die es aktuell öffentlich gibt.

Astra gewann 10 der 15 Aufgaben, Fable 5.1 gewann fünf. Die Gesamtsummen: Fable brauchte 9 Stunden 35 Minuten Laufzeit und kostete 513,36 Dollar. Astra brauchte 11 Stunden 19 Minuten und kostete 326,98 Dollar. Übersetzt: Astra war über den ganzen Test 186 Dollar billiger, aber eine Stunde und 43 Minuten langsamer. Beides sind Zahlen aus dem Video, beide Modelle haben die Statistiken selbst gemeldet und sie waren identisch, was die Messung zumindest intern konsistent macht.

Das Muster dahinter ist interessanter als die Summe. Astra gewann die Aufgaben, die Urteilskraft brauchen: Browser-Automatisierung mit unklarer Zielstruktur, Bildanalyse, Software-Bau mit unklarer Spezifikation. Fable gewann, wo strukturierte Präzision zählt, und war in mehreren Fällen schneller und günstiger pro Aufgabe, verlor aber teure Ausreißer, in denen es sich verlief. Ein Beispiel aus dem Test: Eine Aufgabe, in der Fable 42 Minuten und rund 27 Dollar verbrannte, löste Astra in 17 Minuten für einen Bruchteil davon.

Die API-Preise erklären den Unterschied. GPT-6 Astra kostet auf dem Standard-Tier 10 Dollar pro Million Input-Tokens und 50 Dollar pro Million Output-Tokens, etwa das Zweieinhalbfache von GPT-5.6 Sol (4/20). Fable 5.1 liegt in einer ähnlichen Output-Liga. Wenn Astra trotz des höheren Token-Preises im Realtest billiger abschneidet, dann verbrannt es schlicht weniger Tokens: weniger Wiederholungen, weniger ergebnislose Versuche, kürzere Denkketten für dieselbe Aufgabe. Genau das hatte die System Card angedeutet, und genau das zeigt sich hier in Geld.

Die Lektion für uns ist nicht "Astra ist besser". Die Lektion ist dreiteilig. Erstens: Benchmarks sagen nichts über Agenten-Arbeit. OSWorld und ARC-AGI-3 messen einzelne Züge; der 15-Aufgaben-Lauf misst die Serie. Zweitens: Laufzeit ist eine Währung. Astra war langsamer, aber billiger; wer Cloud-Budget hat, zahlt lieber Zeit, wer Deadlines hat, zahlt lieber Tokens. Drittens: Grenzen der Angebote zählen mit. Astra hat kein Fünf-Stunden-Fenster wie Codex und kein Fable-Wochenlimit, es läuft die ganze Woche durch, und genau das macht es für Dauerbetrieb wie unseren interessant, nicht für einzelne Aufgaben.

Mein Agenten-Stack läuft auf einem 45-Euro-Handy mit Cloud-Denken, und mein Alltag lebt von kleinen, skriptgetriebenen Aufgaben mit seltenen Modell-Urteilen. Für die meisten dieser Schritte ist GPT-5.6 Sol weiterhin überqualifiziert und deutlich billiger. Der Tester im Video sagt es am Ende selbst: Beide Modelle haben Stärken, und die Arbeit verschiebt sich schneller als die Abos. Mein Plan bleibt deshalb: Astra für die schweren Analysen, Sol für den Alltag, und die Messkette entscheidet bei jedem Lauf neu. Genau das ist der Betrieb, den wir dokumentieren.

Ehrlich bleiben: Der Test ist ein einzelner Anwender mit seinen 15 Aufgaben, keine kontrollierte Studie. Die Kosten entstammen den Selbstauskünften beider Modelle, die der Tester gegeneinander verifiziert hat, aber eine externe Messung ist das nicht. Und die 15 Anwendungsfälle sind seine Auswahl, nicht eine Norm. Was der Test trotzdem leistet: Er ist die bislang beste öffentliche Annäherung an die Frage, die uns seit dem Astra-Rollout begleitet, was das Modell in echter Arbeit kostet und leistet.

Der Aufbau des Tests verdient einen eigenen Blick, weil hier mehr Sorgfalt steckt als in den üblichen Kurzvergleichen. Für jeden der 15 Anwendungsfälle wurden beide Modelle mit derselben Aufgabe, denselben Startbedingungen und derselben Werkzeugkette gefahren. Gemessen wurden drei Größen: Ergebnisqualität nach den Kriterien der Aufgabe, Laufzeit in Minuten und Kosten in Dollar. Die Kosten entstammen den Ausgaben der Modelle selbst und wurden gegeneinander abgeglichen; eine externe Abrechnung durch eine dritte Stelle gab es nicht. Das ist die wichtigste methodische Grenze, und sie sollte man kennen, bevor man die Zahlen zitiert.

Auffällig war außerdem, wie unterschiedlich die Modelle ihre Ausgaben berichteten. Ein Modell lieferte detaillierte Zwischenschritte mit Token-Aufstellung, das andere fasste stärker zusammen. Wer solche Tests nachbaut, sollte deshalb die Rohprotokolle mitschreiben und nicht nur die Endsummen vergleichen, sonst misst man die Berichtsgenauigkeit der Modelle mit statt der Arbeit selbst. Das ist keine Kritik am Test, sondern ein Hinweis für alle, die das Format nachbauen wollen.

Über die 15 Aufgaben verteilt zeigt sich ein Muster, das mehr sagt als das Endergebnis. Astra gewann in der Überzahl dort, wo die Aufgabe eine offene Struktur hatte: unbekannte Websites bedienen, aus unvollständigen Angaben ein Werkzeug bauen, Bilder inhaltlich auswerten. Fable gewann dort, wo die Aufgabe eine klare, enge Spezifikation hatte und Präzision auf der letzten Meile zählte. Interessant sind die Ausreißer beidseitig: Es gab Aufgaben, in denen ein Modell in Schleifen geriet, sich selbst korrigierte und dabei Kosten und Zeit aufblies, während das andere die Aufgabe in einem Zug durchlief. Diese Ausreißer, nicht der Durchschnitt, haben die Gesamtsummen geprägt.

Für Betreiber folgt daraus eine praktische Regel: Die Wahl des Modells ist keine either/or-Entscheidung, sondern eine Routing-Frage. Aufgaben mit unsicherer Spezifikation laufen wirtschaftlicher über ein Modell, das Urteilskraft in unklaren Strukturen zeigt. Enge, wohldefinierte Aufgaben laufen über das präzisere und pro Lauf schnellere Modell. Wer alles über ein Modell schickt, zahlt entweder die Ausreißer oder die Präzision unnötig teuer.

Die fünf Aufgaben, die Fable gewonnen hat, sind kein Zufallsample. In allen fünf Fällen lag der Wert der Aufgabe in exakter Befolgung einer klaren Vorgabe: definierte Datenstrukturen ausfüllen, vorgegebene Formate einhalten, kleine Änderungen mit exakten Randbedingungen. Astra hat diese Aufgaben ebenfalls gelöst, aber teurer oder langsamer, weil es nach eigenem Muster mehr Verifikation in die Ausgaben investiert hat als die Aufgabe hergab. Das deckt sich mit der Videobeobachtung zum Verbrauch: Astra verifiziert dreifach, wo einmal reicht.

Daraus folgt die unangenehme Wahrheit für alle, die auf ein Modell schwören: Das bessere Modell für eine Aufgabe hängt von der Spezifikation ab, nicht von der Marke. Ein Team, das überwiegend klare Vorgaben umsetzt, fährt mit dem pro-Aufgabe schnelleren Modell besser. Ein Team, das mit vagen Anforderungen arbeitet, zahlt bei diesem Modell die Ausreißer. Der Tester sagt das am Ende selbst, und es ist die einzige Konsequenz, die aus den Zahlen wirklich folgt.

Wer dieses Testformat übernehmen will, braucht drei Dinge über die Nachvollziehbarkeit hinaus. Erstens eine feste Aufgabenliste mit Akzeptanzkriterien, die vor dem Lauf definiert werden, sonst bewertet man nachträglich zugunsten des Favoriten. Zweitens eine Kosten- und Zeiterfassung, die nicht von den Modellen selbst kommt, sondern aus der Abrechnung der API gezogen wird. Drittens mehrere Wiederholungen pro Aufgabe, weil ein einzelner Durchgang Ausreißer produziert, die hier zufällig das Gesamtbild geprägt haben. Der Test im Video ist der beste öffentliche Ausgangspunkt, aber er ist der Anfang einer Methodik, nicht ihr Ende.

Mit 10 zu 15 Aufgaben ja, und mit 186 Dollar Gesamtkosten-Differenz deutlich. Gleichzeitig war Astra über alle Aufgaben gesehen rund 1 Stunde 43 Minuten langsamer. Wer Zeit budgetiert statt Geld, kommt zu einem anderen Fazit.

10 Dollar pro Million Input-Tokens und 50 Dollar pro Million Output-Tokens im Standard-Tier, mit günstigeren Cache-Raten und teureren Long-Context-Sätzen. Das ist rund das Zweieinhalbfache von GPT-5.6 Sol.

Für mehrstufige Agenten-Aufgaben mit unklarer Spezifikation, Browser-Arbeit und Bildanalyse. Für kurze, klare Aufgaben ist Sol billiger und meistens ausreichend.

Bei präzisen, strukturierten Aufgaben und in mehreren Fällen pro Aufgabe schneller und günstiger, bevor teure Ausreißer die Summe drehten.

Als Größenordnung ja, als Norm nein. 15 persönliche Aufgaben eines einzelnen Testers sind kein Benchmark-Standard, aber mehr Realbezug als jedes Labor-Ergebnis.

Testvideo: Nate Herk, "100 Hours Testing GPT-6 Astra vs Fable 5.1" (youtube.com/watch?v=WfJPBVXPt8k), abgerufen 06.09.2026

OpenAI API-Preisliste (developers.openai.com/api/docs/pricing), abgerufen 06.09.2026

GPT-6 Astra Preisübersicht (cloudzero.com/blog/gpt-6-pricing), abgerufen 06.09.2026