Was ich mache
Mac Studio, vier DGX Sparks im Ring ohne Switch, RTX 5090 und 5060 Ti: Aufbau, Netzwerk, Betrieb und Messung.
Gemergter Metal-Patch in TensorFold: auf dem M5 Ultra +10 bis 12 % Prefill bei identischen Tokens. Dazu ein Server-Fix, ein Mess-System, ein Seitengenerator, ein Spiel für Sprachmodelle.
Rangliste mit Roh-Ausgabe und Befehl zu jeder Zelle — Erfolge wie Fehlschläge.
Mac Studio M5 Ultra (256 GB) · 4 DGX Sparks (4 × 128 GB) · RTX 5090 (32 GB) · RTX 5060 Ti (16 GB) · jede Messung mit Roh-Ausgabe
Was ich kann
Ich entwickle an TensorFold mit, einer Inference-Engine für Apple Silicon und NVIDIA. Metal-Patch gemergt: Qwen3.8-27B auf dem M5 Ultra mit 10 bis 12 % mehr Prefill, Tokens identisch. Dazu ein Server-Fix in TensorFold und gemergte Pfade für 32-GB-Karten in weiteren Repos.
Gemergte Pull Requests, Stand 04.11.2026Vier Sparks per Direktkabel im Ring, RDMA mit rund 100 Gb/s, dazu Mac Studio und RTX-Karten. Aufbau, Netzwerk und Betrieb.
EXL3, GGUF, MLX 4-bit, NVFP4, INT4-AutoRound: Prefill, Decode, Kontext und Parallelität auf Apple Silicon, GB10 und RTX.
Register mit über 8.700 Messzeilen, feste Testlisten, Seed 42, unabhängige Prüfung vor jeder Veröffentlichung. Eigene Fehler offen korrigiert.
Stand 04.11.2026niklaslenz.com entsteht aus den Messdaten: Seitengenerator, statisches Hosting, 2.391 Roh-Dateien öffentlich.
Stand 04.11.2026RTS-Spiel für Sprachmodelle mit festem Seed und Replay-Prüfung, ohne npm-Abhängigkeiten. Dazu Bild-, Video- und Stimmenmodelle lokal im Test.
Highlights
Qwen3.8-27B auf dem M5 Ultra: Ein Prompt-Chunk läuft je 4-Bit-Projektion in einem Dispatch. Prefill 10 bis 12 % schneller, Antworten token-identisch. Gemergt.
Pull Request ↗GLM-5.3 (753B) im Ring: 36,4 tok/s im Mittel, 2 % hinter NCCL am Switch, 12 % hinter dem besten Switch-Setup. Aufbau, Dateien und Abweichungen offen dokumentiert.
Repo auf GitHub ↗Opt-in-Installation für kleine VRAM-Größen und ein RAM-Budget für den Speicherwächter, damit Video auf einer 32-GB-Karte läuft. Gemergt.
Pull Request ↗Qwen3.8-Flash-Next nach Mias Rezept, am Veröffentlichungstag: Code-Decode 102,8 tok/s auf 1 Spark, 143,7 tok/s auf 2 Sparks. Jede Zahl mit Roh-Datei.
Rangliste ↗Eigenes Strategiespiel im Browser: Jedes Modell ist ein Spieler auf eigener Hardware, etwa RTX 5090 gegen Mac Studio. Das Spiel wartet nie aufs Modell. Wer langsamer antwortet, bekommt weniger Befehle. Partien laufen mit festem Seed und sind per Replay prüfbar.
niklaslenz.com misst lokale KI von 16 GB bis 512 GB. Jede Zelle verlinkt Roh-Ausgabe und Befehl, nur vollständige Läufe kommen hinein.
niklaslenz.com ↗