Quantisierung sichtbar gemacht: Power Tool von Level1Techs zeigt, was lokale Modelle beim Komprimieren verlieren

Tokens pro Sekunde, Benchmarks, drei Bits Quantisierung, und der Breakout-Klone läuft trotzdem: So klingt der Stand der lokalen KI im neuen Level1Techs-Video vom 20.10.2026 an, und genau dieser Zustand wird dort Mania genannt. Das Video heißt Keeping Your Local AI High Quality: Our Tools, Explained und stellt mit Power Tool ein Werkzeug vor, das die Frage beantwortet, die im Benchmarkbetrieb selten jemand stellt: Was verliert ein Modell, wenn man es komprimiert, und wie sieht man das, bevor es im Betrieb bricht? Die Antwort des Videos ist keine neue Zahl, sondern ein Verfahren: Dieselbe Stelle im Text, dieselbe Aufgabe, verschiedene Modellkonfigurationen, und dann zählen, wo die Token-Vorhersagen auseinanderlaufen. In den auserwählten Problemfällen des Tests war das der Unterschied zwischen einem strukturell validen Tool-Call und einem kaputten. Für den Betrieb des Decks ist das die passendste Nachricht der Woche, denn hier laufen Modelle dauerhaft in genau dem Bereich, den das Video für am empfindlichsten hält, nämlich bei Werkzeugaufrufen im Agentenkontext.

Die Rahmung des Videos ist bewusst zugespitzt: Je nachdem, wen man fragt, sei KI entweder der Anfang einer neuen industriellen Revolution oder eine Tulpenzwiebel-Fantasie bis hin zur planetaren Rezession. Das Video hält beides für extrem und beide Aussagen zugleich für wahrheitsfähig: Unternehmen können massiv überbewertet sein und absurde Versprechen machen, während andere mit dem neuen Gegenstand tatsächlich arbeiten und Dinge bauen, die vorher nicht gingen. Gegen die Mania setzt der Kanal eine Arbeiterkultur, die er Computer-Janitor nennt: Werkzeuge bauen, die Menschen freisetzen, wirklich zu bauen. Lokale KI orientiere sich fast immer an Tokens pro Sekunde und Benchmaxing, und diese Messungen haben ihren Platz, aber eines sagen sie nicht: Ein gelungener Breakout-Klone beweist nicht, dass ein quantisiertes Modell die Regeln des Auftrags verstanden hat. Der Autor nennt einen eigenen Prompt von mehr als 6.000 Tokens, dessen Ergebnis trotzdem nichts darüber verrät, wie genau die Vorgaben eingehalten wurden, weil der Harness die meiste Arbeit mache. Genau in dieser Lücke sitzt die Kernaussage: Ohne Sichtbarkeit in die Vorhersagen bleibt jedes Qualitätsgefühl Bauchgefühl.

Power Tool ist laut Video eine Art Mikroskop für LLM-Sitzungen: Mehrere aufgezeichnete Sitzungen mit Qwen als Modell, jeweils in verschiedenen Konfigurationen und auf verschiedener Hardware, werden an denselben Stellen vorgelegt und der jeweils nächste Token vorhergesagt, unabhängig davon, welche Maschine gerade rechnet. Damit der Vergleich etwas aussagt, wird nicht zufällig gesampelt, sondern konsequent der höchstbewertete Token gewählt, und jede Konfiguration bekommt exakt denselben aufgezeichneten Text bis zu diesem Punkt. Das macht Divergenz reproduzierbar: Wenn zwei Konfigurationen an derselben Stelle unterschiedliche Ausgaben produzieren, hat man ein greifbares Ereignis zum Untersuchen, statt einer vagen Empfindungsbeschreibung. Die Datenmenge ist im Heimgebrauch unrealistisch, weil an jedem Schritt alles gespeichert wird, und das Video dankt Kioxia ausdrücklich für bereitgestellten Flashspeicher. Wichtig ist die Einschränkung, die gleich mitgeliefert wird: Der höchstbewertete Token garantiert keine identische Berechnung auf unterschiedlicher Hardware, denn Fließkomma-Arithmetik hat endliche Präzision, allein die Reihenfolge der Operanden einer Addition kann Rundungsunterschiede erzeugen, und Implementierungsfehler sind eine weitere Quelle von Divergenz. Nach jeder Divergenz werden rund 100 Folge-Tokens mitgeschnitten, damit klar wird, was die Abweichung tatsächlich bewirkt: nur eine Umformulierung, ein gebrochener Tool-Call oder etwas, an das man vorher nicht gedacht hätte.

Das Forum ergänzt die Videomethode um eigene Tests aus dem laufenden Jahr: Die Aufzeichnungen konzentrieren sich dort auf den Bereich mit dem größten betrieblichen Nutzen, also auf Tool-Calls. In einem dieser Tests drehten sich so viele Top-Tokens, dass die Ausgabe unter int8-KV-Cache sich zwar irgendwann erholte, unter int4 aber nicht mehr zurückfand. Der Titel dieses Threads bringt die Beobachtung auf den Punkt, warum sich ein lokales Modell dümmer anfühlt, als es ist: Im Abwärtstal bei etwa 50.000 bis 70.000 Tokens sackte die Übereinstimmung mit der Referenz zeitweise ab, bevor sich beide Wege wieder annäherten. Ein quantisiertes Modell kann laut Forennotiz von der BF16-Referenz abweichen und trotzdem semantisch besser liegen, während andere Quants auf einer internen Do-not-use-Liste enden. Die Messgrößen sind übrigens nicht dasselbe: Top-1-Diskrepanz zählt die Stellen, an denen der Gewinner-Token wechselt, die Kullback-Leibler-Divergenz bewertet die Verschiebung der ganzen Verteilung einschließlich der Stellen, an denen der Gewinner gleich bleibt. Beide gehören zusammen, weil sich eine Verteilung verbiegen kann, lange bevor ein einzelner Token sichtbar kippt.

Die Kernzahlen des Videos stammen von einer Hardware-Spur, die der Heimgebrauch sonst nie sieht: Aufgezeichnet wurde auf der GB300, einer MSI WS300-Workstation aus Nvidias Datacenter-Sparte mit Blackwell Ultra, dazu auf RTX Blackwell, RTX Pro 6000 mit SM120, und auf DGX Spark mit GB10, genannt SM121. Vier Blackwell-Labels decken laut Video sehr unterschiedliche Hardware und Ausführungspfade ab, und genau deshalb lohnte der Vergleich. Auf DGX Spark lief der NVFP4-Ausführungspfad laut Video deutlich anders als auf den übrigen Systemen. Auf der GB300 wechselte der gemischte NVFP4-Checkpoint mehr Top-1-Entscheidungen als die anderen getesteten Gewichtsformate, aber in den auserwählten schwierigen Fortsetzungen produzierte die gewöhnliche FP8-KV-Cache-Konfiguration mehr gebrochene Tool-Call-Strukturen. Konkret: Bei sechs auserwählten Startpunkten, an denen die BF16-Referenz strukturell valide Ausgaben erzeugte, wurden mit FP8-Cache fünf Fortsetzungen strukturell invalid, mit gemischten NVFP4-Gewichten eine, und zwei blieben bis zur Grenze von 100 Tokens nach der Divergenz unvollständig. Das ist ausdrücklich keine allgemeine Fehlerrate, sondern eine auserwählte Stichprobe, und unvollständig heißt nicht automatisch kaputt. Der Punkt ist die Unterscheidung selbst: Nur gezählte Divergenzen sagen nichts über den Schaden, geprüfte Fortsetzungen schon.

Zusätzlich zeigte eine der Divergenzen, dass schon Tensor Parallelism 1 gegen Tensor Parallelism 2 unterschiedliche Ausgaben erzeugte, ohne dass sonst etwas an der Konfiguration geändert wurde. Die Frage, ob dahinter ein NCCL-Fehler steckt oder schlicht die übliche Rundungsarithmetik, beantwortet das Video nicht endgültig, es vermutet Letzteres und benennt gerade das als Lektion: Man weiß es nicht, und genau diese Unwissenheit ist der offene Riss. Daraus folgt fast von selbst die Forderungsliste des Videos für den Qualitätsbereich: Neben Tokens pro Sekunde gehört eine reproduzierbare Vergleichstabelle gegen einen benannten Referenzcheckpoint auf den Tisch, mit Checkpoint, Hardware, Software und Kernels, dazu Verteilungsdrift, KLD und Top-1-Diskrepanz unter dokumentiertem Testverfahren, und am Ende konkrete Fortsetzungen samt Ergebnis, wenn der produzierte Code oder der Tool-Call getestet wurde. Diese Forderung gelte für quantisierte Gewichte, für Inferenz-Engines und für Performance-Optimierungen allgemein. Der Satz, der hängen bleibt: Schneller ist keine Bewertung. Tempo ohne Qualitätsangabe ist nur die halbe Wahrheit.

In derselben Feed-Welle des 20.10.2026 erschienen mehrere Videos zum Ling 3.1 Flash, einem aktuellen Modell, dessen lokale Qualitätsfrage exakt auf die Methode dieses Videos passt. Ehrlich vorab gesagt: Das Modell läuft auf dem Deck bisher nicht, und dieser Beitrag ist deshalb keine Bewertung, sondern eine Aufgabenstellung. Angewandt auf mein Setup heißt das konkret: Nicht die Tokens pro Sekunde oder der Download entscheiden, ob Ling 3.1 Flash im Betrieb bleibt, sondern ob die eigentliche Arbeitsstelle, ein definierter Prompt mit Werkzeugaufrufen, strukturell stabil bleibt. Um die Welle um dieses Modell ist es nicht zufällig groß, am selben Tag erschienen mehrere Promovideos unter anderem von einem SEO-Kanal, und genau deshalb ist der Abstand zum Primärtext wichtig: Ein Werbevideo sagt, was das Modell bauen kann, das Verfahren von Level1Techs sagt, was es dabei verliert. Drei Regeln übernehme ich daraus für die nächste Modellsichtung auf dem Deck: Erstens bleibt der Erfolg bewertbar nur mit fester Aufgabe und zwei Konfigurationen, sonst vergleicht man Empfindungen. Zweitens zählt der Zustand des Werkzeugaufrufs, nicht nur das Ergebnis des gebauten Prototyps, denn die Brüche entstehen vorher. Drittens gehört der Blick über die Divergenz hinaus auf das, was die Abweichung anrichtet, und das ist im Agentenbetrieb selten eine Nuance und häufig ein Strukturbruch.

Das Deck läuft als Hermes-Regie mit pi als Ausführungsagent auf stabilen Releases statt Tagesakt, der Stabilitätsanker ist der 88-Stunden-Rekord vom 28. August bis zum 1. September 2026 ohne Unterbrechung, danach null OOM-Kills seit der Härtung. Das passt unmittelbar zur Kernaussage des Videos: Qualität ist messbar, aber nur, wer sie misst, und Tempodaten allein bauen Druck auf, der irgendwann in Brüchen landet, die niemand bemerkt. Der Video-Autor hält den Harness für einen wirksamen Sicherungsmechanismus, aber nicht für den einzigen Hebel: Manche Probleme entstehen im quantisierten Modell selbst, und der Harness sei womöglich der falsch platzierte Ort, um sie zu reparieren. Für den Agentenbetrieb heißt das: Sicherungen im Rahmen, ja, aber die Modellwahl bleibt die eigentliche Qualitätsentscheidung, und die verlangt Zahlen statt Bauchgefühl.

Ausdrücklich die Grenzen: Ich habe das Video und die beiden Forum-Threads gelesen, Power Tool aber nicht ausgeführt, und jede Zahl hier ist die der Quelle, gekennzeichnet mit Abruf 20.10.2026, nicht meine eigene Messung. Die Zahlen stammen aus auserwählten Problemfällen, sind also keine allgemeinen Fehlerraten und kein Qualitätsurteil über irgendein Quantschema im Ganzen, das Video selbst markiert genau das. Der Forum-Verlauf lebt von Kommentaren, deren Status zwischen Messung und Einordnung schwankt, deshalb benenne ich beide Threads im Quellenblock einzeln, statt sie als eine Stimme zu behandeln. Zu Ling 3.1 Flash habe ich keine eigene Prüfung, dieser Beitrag benennt nur die Methode, nach der eine solche Prüfung sinnvoll läuft, und der Verweis auf die Promovideos desselben Tages ist Kontext, keine Kritik an deren Inhalt, die ich hier gar nicht einzeln bewertet habe. Die Aussage zur Tensor-Parallelism-Divergenz ist im Video selbst als unbestimmt markiert, weil die Ursache dort nicht ermittelt wurde, und ich übernehme diese Unbestimmtheit wortlaut statt sie zu glätten.

Der nächste Schritt wird ein reproduzierbarer Mini-Vergleich nach derselben Logik: Ein festes Prompt mit Werkzeugaufruf-Aufgaben, zwei Konfigurationen desselben Modells, zum Beispiel Q8 gegen Q4, gleicher Kontext gleicher Aufgabentext, und danach die Frage, ob die Fortsetzung noch ein strukturell valider Tool-Call bleibt oder nur noch scheinbar funktioniert. Das ist keine Nachmessung der GB300-Spur, sondern eine Heimanwendung desselben Prinzips auf eigenes Material, und das Video schlägt genau das ausdrücklich vor: Werkzeug aufmachen, einer Divergenz folgen, eigene Expertise mitbringen, und berichten, ob die Abweichung nur eine Umformulierung war oder ein gebrochener Tool-Call. Heimnutzer bleiben in der Qualitätsfrage kaum beachtete Dritte, schreibt das Video, und genau deshalb braucht es Werkzeuge zum Selbstprüfen: Sichtbarkeit für kleine Setups kommt nicht von den Labs, sondern von Leuten, die ihre eigenen Ausgaben ernst nehmen.

Über den Autor: Ich bin Marcel, Grafikdesigner und Betreiber des HUNTER-Cyberdecks auf einem Google Pixel 6a. Das Video und die beiden Forum-Threads habe ich am 20.10.2026 gelesen und verarbeitet, Transkript als Eingangsmaterial, der Beitrag selbst ist aus den verlinkten Primärtexten geschrieben. Betriebsanker wie die 88-Stunden-Reihe stehen im Vault unter stability-snapshots. Zuletzt fachlich geprüft am 20.10.2026.

Quellen: Level1Techs, YouTube-Video Keeping Your Local AI High Quality: Our Tools, Explained, eingestellt und abgerufen am 20.10.2026. Level1Techs Forum, Thread Why your local LLM feels dumber than it is, Forum-ID 253917, abgerufen 20.10.2026. Level1Techs Forum, Thread Pow3rtool and nvfp4 and oh my, Forum-ID 258986, abgerufen 20.10.2026. Feed-Daten aller Zahlen und Fallzahlen aus dem Video, übertragen mit Abrufdatum, keine eigene Messung. Deckbetriebszahlen aus eigenem Vault, stability-snapshots, Stand 20.10.2026. Welle um Ling 3.1 Flash aus YouTube-Feed-Abruf desselben Tages, ohne Einzelbewertung der Promovideos.