Auf Zuse laufen Modelle nicht nur, sie werden auch gemessen. Ich traue keinem Benchmark, den ich nicht selbst gefahren habe — und, wie sich herausstellte, denen auch nicht immer. Sieben Messreihen, und am Ende bleibt jedes Mal derselbe Satz übrig.
1. Der eigene Quant — und der kaputte Benchmark
Ich habe Qwen3.8-27B selbst auf int4 (AutoRound) quantisiert, um es fair gegen den Vorgänger Qwen3.6 zu vergleichen. Auf einer einzelnen 3090 dauert das gut anderthalb Stunden.
Der erste Durchlauf sagte: Das neue Modell ist beim Coding schlechter, 11 von 13 gegen 13 von 13. Mein erster Gedanke war nicht „schlechtes Modell“, sondern „wenn das Messgerät Fehler hat, sagt das Ergebnis nichts“. Es waren drei Fehler, alle im eigenen Messaufbau:
- ein Token-Deckel, der für das Nachdenken des Modells zu knapp war,
- ein deutsches Dezimalkomma, das beim Auswerten weggeputzt wurde,
- eine Antwort im LaTeX-Format, die der Parser nicht verstand.
Nach der Reparatur: 13 von 13 beim Coding, 12 von 12 in Mathe, gleiche Geschwindigkeit. Der Vorgänger kam auf 12 von 13 und mindestens 8 von 12. Der Quant liegt öffentlich auf Hugging Face: MKRWW/Qwen3.8-27B-int4-AutoRound.
2. Coder-Benchmark: 27B gegen 176B
Aufgaben im Stil von Loopwright — Spec, Abnahmekriterien, Verbotsliste —, gemessen gegen versteckte Abnahmetests, die vorher an einer Referenzlösung validiert wurden. Derselbe lokale Coding-Agent, einmal mit Qwen3.8-27B auf zwei Karten, einmal mit Qwen3.8-Flash-Next (176B MoE, 2-Bit) auf einer Karte.
| Aufgabe | versteckte Tests | 27B | Flash-Next |
|---|---|---|---|
| A: neues Modul, Rate-Limiter | beide 100 % | ~137 s | ~105 s |
| B: Bestandsdatei erweitern, Kassenbuch mit Währungen | beide 100 % | ~169 s | ~116 s |
| C: Cron-Parser mit Randfällen, 48 Tests, je 3 Läufe | beide 48 von 48 | 718 s | 212 s |
| D: Shop über sechs Dateien plus Bugfix, 23 Tests, je 3 Läufe | beide 23 von 23 | 354 s | 161 s |
(Zeiten: Mittelwert bei A und B, Median bei C und D.)
Qualität gleich, Flash-Next zwei- bis dreimal schneller. Deshalb ist es der Standard-Coder, wenn die dritte Karte frei ist. Die Unterschiede liegen im Stil: Das 27B schreibt mehr eigene Tests (bis zu 42), Flash-Next genau das Minimum — und Fehlermeldungen gern auf Englisch.
3. Größer ist nicht automatisch besser
Ein paar Wochen vorher sah es noch anders aus. Mit der Engine von damals lief Flash-Next über drei Karten verteilt, und ich habe es mit 23 Alltagsaufgaben gegen das 27B gestellt:
| Flash-Next | 27B | |
|---|---|---|
| objektiv prüfbar richtig | 17 von 17 | 17 von 17 |
| kurzer Prompt | 52 tok/s | 69 tok/s |
| Prompt mit 30K Token | 16 tok/s | 42 tok/s |
Das größere Modell war nicht besser, und bei langem Kontext deutlich langsamer. Unterwegs habe ich zwei Messfallen gelernt: Ein Modell, das ins Token-Limit läuft, liefert keinen Inhalt — das ist kein falsches Ergebnis, sondern ein zu knappes Budget. Und wer wissen will, welches Modell gesprächiger ist, zählt die erzeugten Token, nicht die sichtbaren Denkschritte. Hier erzeugte das 27B 1,6-mal so viele.
4. 176B auf gebrauchten Grafikkarten
Flash-Next hat 176 Milliarden Parameter, aktiv sind pro Token nur 6 Milliarden. Der offizielle Weg — ein FP8-Checkpoint mit 173 GiB — ist auf Ampere-Karten unmöglich. Über GGUF ging es doch: knapp 79 GB Modell auf 72 GB VRAM plus Arbeitsspeicher.
Der Schlüssel war ein einziger Tensor: 28,8 GB Embeddings, die in den Arbeitsspeicher gehören, nicht auf die Karten. Und die Ladestrategie: ohne Memory-Mapping war das Ganze sechsmal schneller. Ergebnis damals: 38,5 tok/s über drei Karten.
Heute läuft dasselbe Modell mit einer Engine, die die Experten im Arbeitsspeicher hält und auf der Karte nur die gerade gebrauchten vorhält — auf einer einzigen 3090, mit 66 bis 94 tok/s.
5. Beschleuniger: Sieg im Benchmark, Niederlage im Alltag
Spekulatives Decoding rät mehrere Token voraus und lässt das große Modell nur noch prüfen. Drei Versuche:
- Der eingebaute Vorhersage-Kopf des Modells, drei Token voraus: +33 % allein, +23 % bei vier parallelen Anfragen, 62 % Trefferquote.
- Ein externer Block-Diffusion-Drafter: im synthetischen Benchmark 2,18-mal so schnell, im echten Alltag — Deutsch, Code und Agenten gemischt — langsamer. Zurückgerollt.
- Ein externer Draft-Kopf auf meinem int4-Quant: 13,7 % Trefferquote, 43 % langsamer.
Spekulatives Decoding lebt von der Trefferquote, und die hängt an der eigenen Last, nicht am Benchmark des Herstellers.
6. LoRA I: Was kauft Training?
Für die NPCs im BOFH Simulator habe ich ein kleines Modell auf den Charakter trainiert: 4B-Basis, LoRA, fertig als GGUF mit 2,5 GB. Die Basis ist eine Variante, aus der die pauschalen Verweigerungen herausgerechnet wurden. Den Ton bringt das Training.
Die naheliegende Frage: Spielt ein gutes Modell mit gutem Prompt den Charakter nicht genauso gut? Gemessen über sieben Rollen, von harmlosen bis zu dunklen Tickets, dazu ein Gespräch über mehrere Runden, in dem der Gegenüber bettelt und besticht:
| gleich großes Modell + Prompt | dreimal größeres Modell + Prompt | trainiert, 2,5 GB | |
|---|---|---|---|
| einfache Bosheit | ✅ | ❌ verweigert die Rolle | ✅ |
| dunkler Rand | ⚠️ bricht einmal ein | ❌ leere Antwort | ✅ |
| mehrere Runden, betteln und bestechen | ✅ | – | ✅ bleibt eiskalt |
Ergebnis: Für eine einzelne gute Zeile reicht ein Prompt. Training kauft Verlässlichkeit am Rand — und am Rand spielt so ein Charakter die ganze Zeit. Dazu knappe, zitierfähige Antworten ohne Bühnenanweisungen, ein Drittel der Größe eines vergleichbaren Modells und keine Denkpause. Bemerkenswert: Je stärker ein Modell auf Vorsicht trainiert ist, desto früher steigt es aus. Das größere verweigert schon das harmlose Ticket.
7. LoRA II: Die Persona, die tauschte
Die zweite LoRA sitzt auf dem 27B: eine Persona mit Dramaturgie. Sie beantwortet Fragen, deren Antwort längst im Verlauf steht — in vier Akten: leise Anerkennung, präzise Aufzählung aller übersehenen Fundstellen, Eskalation, Kollaps.
Die Ausgangsthese war: Dafür braucht es ein unzensiertes Modell. Falsch. Das normale 27B mit gutem Prompt lieferte alle vier Akte, steigerte die Eskalation sauber nach Stufe und verweigerte nichts. Die echten Probleme lagen woanders:
- erfundene Fundstellen — tödlich für eine Persona, deren Pointe „es stand doch schon da“ ist,
- auswendig gelernte Beispiele aus dem Prompt, die in unpassenden Antworten wieder auftauchten,
- Wortsalat unter Hitze — int4, hohe Temperatur und Großbuchstaben vertragen sich schlecht,
- abgeschnittene Antworten — ein vollständiger Bogen braucht 1.200 bis 1.500 Token.
Dann das Training: 78 Beispiele, vier Epochen, bewertet an zwölf zurückgehaltenen Fällen auf einer Skala von 1 bis 5. Die erste Messung verglich Basis gegen Basis — der Adapter wurde still nicht geladen, weil das Modell seinen Sprachteil unter einem anderen Namen führt. Es gab nur eine Warnung, keinen Fehler. Die zweite Messung war ebenfalls ungültig: Beide Seiten dachten erst laut nach und verbrauchten dabei das Token-Budget. Die dritte war gültig:
| Basis | mit LoRA | |
|---|---|---|
| Gesamt | 3,69 | 3,74 |
| wendet sich ans Publikum | 1,33 | 3,75 |
| trifft die verlangte Eskalationsstufe | 5,00 | 3,92 |
Gesamt +0,05 — bei zwölf Fällen Rauschen. Aber der Adapter hat nicht nichts gelernt, er hat getauscht: Was der Trainingssatz deutlich betont, zieht er um 2,4 Punkte hoch. Was der Satz unterschlägt — es gab genau ein Beispiel für die niedrigste Stufe —, verlernt er. Die Lehre ist nicht „mehr Daten“, sondern „andere Zusammensetzung“. Der zweite Lauf mit über 250 gleich verteilten Beispielen und weniger Epochen ist geplant, aber noch nicht gefahren.
Der Satz, der jedes Mal übrig bleibt
Wer misst, prüft zuerst das Messgerät.
Drei Fehler im Messaufbau beim Quant. Ein Token-Limit, das wie ein falsches Ergebnis aussah. Zwei ungültige LoRA-Messungen, bevor die dritte etwas taugte. Und in Loopwright grüne Tests gegen ein nachgebautes ffmpeg. Jedes Mal sah das Ergebnis plausibel aus. Jedes Mal war es das Messgerät.