Qwen 3.8 Flash Next lokal: 125 Milliarden Parameter, 94 Tokens pro Sekunde, ein Installer

Die spannendste Zahl dieser Woche steht nicht in einem Modell-Report eines Konzerns, sondern in einem GitHub-Repository mit über elftausend Sternen. Strata heißt das Projekt, es wurde am 24.09.2026 angelegt und hat seitdem ein Tempo, das bei Infrastruktur-Projekten selten geworden ist: 11.535 Sterne zum Stichtag 05.10.2026, über 1.000 Forks. Das Versprechen klingt absurd einfach: Qwen 3.8 Flash Next, ein Modell mit 125 Milliarden Parametern, komplett auf dem eigenen Gaming-PC, mit einem Installer, der ohne Terminal-Einbruch gelingt. Meine These: Hier kippt lokale KI vom Bastelprojekt zur normalen Software, und der Agentenbetrieb auf meinem 45-Euro-Deck zeigt schon jetzt, wie die Arbeitsteilung unter so einem Setup aussieht. Ich gehe die Zahlen durch, die wirklich zählen, und sage danach offen, was auf meinem Deck funktioniert und was nicht.

Strata ist eine Inferenz-Engine in C++ unter MIT-Lizenz, dazu ein Installer für Windows und Linux. Laut Projekt-Dokumentation braucht es eine Grafikkarte mit mindestens 12 GB Videospeicher, also eine NVIDIA-GeForce-Karte der 20er- bis 50er-Serie oder AMD-Radeon-Karten ab RX 7900, weiterhin mindestens 32 GB Arbeitsspeicher (mit 64 GB laufen alle Größen), rund 80 GB freien Platz und einen aktuellen Grafiktreiber. Der Installer lädt das Modell mit rund 70 GB, fragt Kompressionsstufe, Kontextlänge und Bildeingabe ab und startet danach einen lokalen Server unter 127.0.0.1:8080, der eine OpenAI- und eine Anthropic-kompatible API anbietet. Zwei oder drei Karten können sich ein Modell teilen. Für Agenten gibt es einen MCP-Server, und wer einen Coding-Agenten wie Claude Code, Codex oder pi betreibt, kann ihm eine Textzeile geben und bekommt Strata aufgesetzt. Genau dieser letzte Punkt ist der beobachtenswerte: Agenten installieren Agenten-Infrastruktur. Das passt zu der Kern-und-Schalen-Spur, die dieser Blog im Oktober verfolgt, weil immer mehr Werkzeuge ausgerechnet dort angreifen, wo die Arbeitsteilung entschieden wird.

Die Geschwindigkeitstabellen der Projektseite sind der eigentliche Kern. Ich fasse drei Zeilen raus: Auf einer NVIDIA RTX 5070 mit 12 GB Videospeicher schreibt die größte getestete Kompressionsstufe Q2_0 94 Tokens pro Sekunde und liest einen Prompt mit 32.000 Tokens mit 2.650 Tokens pro Sekunde. Die feineren Stufen von IQ3_S bis IQ2_XS schreiben 53 bis 79 Tokens pro Sekunde. Auf einer AMD RX 9070 XT mit 16 GB sind es in Q2_0 60 Tokens pro Sekunde schreiben und 1.160 beim Lesen, der Coder-Ableger der Modelfamilie erreicht 44. Die Einordnung aus der Dokumentation: Ein Token ist rund drei Viertel eines Wortes, und 60 Tokens pro Sekunde gelten dort als schneller, als ein Mensch lesen kann. Zwei Fußnoten gehören dazu: Q2_0 wurde mit Engine 0.1.36 gemessen, die übrigen Stufen mit 0.1.26, immer mit 4.000 Tokens Antwortlänge und 32.000 Tokens Kontext. Eine RTX 3090 mit 24 GB soll laut Projekt auf 100 bis 140 Tokens pro Sekunde kommen; das ist eine Projektangabe, keine unabhängige Messung.

Die Diskussion unter dem Hacker-News-Thread ergänzt die Tabellen mit dem Feedback, das READMEs fehlt. Der Nutzer snehesht dokumentierte 124 Tokens pro Sekunde auf einer RTX 4090 mit 128 GB DDR5 und schrieb, es habe überraschend gut funktioniert. In den Antworten tauchen Muster auf, die ich auch aus meinem Betrieb kenne: Modelle fühlen sich je nach Harness unterschiedlich an, obwohl die Parameter dieselben sind, ein Nutzer fährt es mit pi und bemerkt keinen Unterschied zu teureren Alternativen, ein anderer beschwört die 27B-Variante in einem anderen Harness auf. Das ist keine kontrollierte Evaluation, und ich behandle es auch nicht als eine. Es ist trotzdem der beste Live-Feldtest, den es für dieses Setup aktuell gibt, und er dreht sich genau um die Frage, die mich interessiert: Reicht die kleine Stufe für echten Agentenbetrieb?

Mein Deck ist der Gegenpol zu diesem Setup. Es besteht aus einem gebrauchten Google Pixel 6a für 45 Euro, hat keine dedizierte GPU und stand im Snapshot vom 05.10.2026 um 07:00 Uhr bei 854 MiB freiem Arbeitsspeicher. Ich rechne hier keine 125-Milliarden-Parameter-Modelle lokal, ich orchestriere: Hermes plant die Arbeit, pi führt sie über herdr aus, und der Gateway übersteht Android-Kills, weil er gebaut wurde, Kills zu überstehen, nicht zu verhindern. Genau dafür steht die Zeile aus dieser Woche: Gateway-Leben in den letzten sieben Tagen 99 Prozent, 305 von 306 Checks, fünf OOM-Kills in sieben Tagen. Der Kontrast ist das eigentliche Bild: Alibaba hat die Rechenfabriken bedient, ich habe ein 45-Euro-Handy. Zwischen beiden Enden liegt nun die Stufe, die Strata normalisiert: ein reguläres Desktop-System mit einer Spieler-Grafikkarte, komplett lokal, ohne Rechenzentrum dazwischen.

Der Betrieb meines Decks zeigt, wie die Arbeitsteilung mit einem Modell von dieser Größe aussehen kann. Die Orchestrierung ist klein und läuft lokal, das Denkmodell sitzt dahinter. Bislang war dieses Denkmodell fast immer eine Server-Rechnung, bei mir über Cloud-Quoten mit festem Wochenfenster. Im September habe ich den Tempo-Weg über Cerebras nachgezogen und als Beitrag mit 1.459 Haupttext-Wörtern veröffentlicht; dort laufen Qwen-3.8-Modelle mit laut Anbieter bis zu 1.500 Tokens pro Sekunde. Der andere Rand meiner Skala war die On-Device-Spur aus dem Desert-Ant-Beitrag, also Modelle auf dem Handy selbst. Strata schiebt eine Stufe in die Mitte, die es vorher so nicht gab: ein Modell mit laut ModelScope-Beschreibung 6 Milliarden aktivierten Parametern pro Token, komplett offline, und trotzdem schnell genug für Agentenschleifen. Genau die Mitte, nicht ein Rand, wird normalerweise unterschätzt.

Neu sind drei Dinge, und sie liegen nicht im Modell selbst. Erstens die Verpackung: Ein Installer, der zwischen Kompressionsstufen und Kontextgrößen wählt, ist der Unterschied zwischen einem Tutorial-Beitrag und Software. Zweitens die Agenten-Schnittstelle: Der MCP-Server und das vorkonfektionierte Setup für Coding-Agenten machen Recheninfrastruktur zu einem Ziel, das der Agent selbst ansteuern kann. Drittens das Tempo: 11.535 Sterne in knapp zwölf Tagen sind eine Geschwindigkeit, die selbst bei Infrastruktur-Projekten selten auftaucht. Nicht neu sind die Physik und die Ökonomie. Beim Start werden 35 bis 55 GB Arbeitsspeicher gelockt, der Rechner hängt laut Dokumentation für ein bis drei Minuten, und der Download von rund 70 GB bleibt eine Hürde. Die 12-GB-Grenze sortiert die Mehrheit der verbreiteten Grafikkarten aus. Wer erwartet, dass dieser Weg jedes Cloud-Denken ersetzt, liest hier die falschen Zeilen.

Das Modell selbst trägt seine Zahlen schon seit Ende August. Auf Hugging Face weist Qwen/Qwen3.8-Flash-Next zum Stichtag 05.10.2026 1.480.842 Downloads und 5.901 Likes auf. Die abgeleiteten GGUF-Versionen drehen die Zahlen weiter: Die GSQ-RCO-Version eines Labors steht bei 1.886.975 Downloads, der Coder-Ableger bei 351.230, dazu kommerzlose Uncensored- und abliterierte Varianten mit sechsstelligen Werten. An diesem Markt zeigt sich der offene Fluchtweg in beide Richtungen: Quantisierung verteilt Modelle schneller, als jede zentrale Sperre es könnte, und die Sicherheitsrelevanz wächst mit jeder Sparte. Der Blog hat die Supply-Chain-Seite dieser Frage im September mit dem Git-Config-Beitrag besetzt; dort lag der Angriffsvektor bei den Agenten, hier liegt er beim Modellvertrieb.

Ehrlich bleiben heißt hier drei Grenzen benennen. Erstens der AMD-Abstand: 60 gegen 94 Tokens pro Sekunde in der gleichen Stufe zeigen, dass die Engine auf NVIDIA-Karten mehr aus der Hardware holt, und für AMD sind bisher nur einige wenige Stufen gemessen. Zweitens die Lizenz: Strata steht unter MIT, das Modell dahinter ist ein Open-Weight-Release von Alibaba, dessen Lizenzdetails ich für diesen Beitrag nicht abschließend geprüft habe; wer das für eine Nebensache hält, sollte sich ansehen, welche Varianten die Downloadzahlen führen. Drittens die Herkunft der Messung: Alle Geschwindigkeitswerte stammen aus dem Projekt selbst und aus Community-Posts. Ich selbst habe auf keiner GPU einen Messlauf gefahren und sage das hier ausdrücklich. Die Trennung aus meinem Beleg-Standard bleibt: Projekt-Messung, Community-Einzelmessung, eigener Betrieb, und nichts davon wird mit anderem verrechnet.

Die Kostenrechnung rundet das Bild. Die Engine ist unter MIT kostenlos, das Modell ist ein Open-Weight-Release, die MIT-Lizenz regelt nur den Code und nicht den Stromzähler. Ein Gebraucht-Setup mit 12-GB-Karte kostet einige hundert Euro, und der Betrieb frisst im Gegensatz zu meinem Deck spürbar Strom. Dafür fällt pro Agentenlauf keine Abrechnung an, keine Quote, kein Wochenfenster. Mein Ollama-Vertrag auf dem Deck beruht auf genau solchen Grenzen: ein festes Zeitfenster und ein Wochenlimit, gemessen im Dashboard. Wer dieselben Schleifen auf einer lokalen Karte fährt, verkauft sich diesen Kompromiss selbst: einmal Hardware bezahlen, danach Strom für Tokens. Beide Wege haben ihre Preisformel, und die Wahl hängt daran, ob ein Budget pro Monat oder pro Hardware-Kauf gedacht ist.

Für den Agentenbetrieb ist die Mitte der Skala der interessante Teil. Eine lokale API unter 127.0.0.1, die OpenAI- und Anthropic-Formate spricht, heißt praktisch: Jeder Harness kann sie als Ziel eintragen, vom Cron-Job bis zum Coding-Agenten, ohne dass ein Dauerlauf eine Serverrechnung erzeugt. Das realistische Muster ist geschichtet. Lokal laufen die Dauerlast, das billige Urteilen und das Protokollieren. Die Cloud bekommt Eskalationen, lange Kontexte und Aufgaben, die echte Rechenleistung brauchen. Das ist derselbe Vertrag, den ich auf dem Deck mit den Cloud-Quoten führe, nur in beide Richtungen erweitert. Ob solche Schichten stabil laufen, ist eine Testfrage und keine Glaubensfrage, und genau deshalb steht diese Stufe jetzt auf dem Radar und nicht auf einer Wunschliste.

Über den Autor: Ich bin Marcel, Grafikdesigner, und betreibe das HUNTER-Cyberdeck auf einem gebrauchten Google Pixel 6a. Ich orchestriere meine Agentenfamilie mit Hermes, pi und herdr und schreibe diese Beiträge aus dem laufenden Betrieb. Grundlage dieses Beitrags: die Projekt-Dokumentation von Strata, API-Messungen vom 05.10.2026 und der eigene Betrieb im September und Oktober 2026. Zuletzt fachlich geprüft am 05.10.2026.

Quellen: Niko1221/Strata auf GitHub, Projekt-Dokumentation mit Geschwindigkeitstabellen, Systemvoraussetzungen und Installationspfaden, abgerufen am 05.10.2026. Hacker-News-Thread zu Qwen 3.8 Flash Next auf Consumer-Hardware vom 04.10.2026, Community-Messungen, abgerufen über die Algolia-API am 05.10.2026. Hacker-News-Thread zur Modell-Vorankündigung vom 25.08.2026 mit der gesicherten ModelScope-Beschreibung (125B Parameter, 6B pro Token aktiviert, 51B N-Gramm-Einbettungen), abgerufen am 05.10.2026. Qwen/Qwen3.8-Flash-Next auf Hugging Face, Download- und Like-Zahlen über die Hugging-Face-API, abgerufen am 05.10.2026. Cerebras-Modellübersicht mit Geschwindigkeitsdaten, abgerufen am 07.09.2026. Eigene Messwerte: Sternen-Messung per GitHub-API vom 05.10.2026 (pi 112.486, Hermes Agent 251.268, openclaw 391.331, Codex 127.873, OpenCode 211.783) sowie Betrieb des Pixel-Cyberdecks aus Tagesnotizen und Stabilitäts-Snapshots, Stichtag 05.10.2026 07:00 Uhr.