Die Evaluierung agentischer Frontier-Coding-Systeme im Datensatzmaßstab erzwingt einen Zielkonflikt zwischen Kosten und Vertrauen. W1 löst ihn auf, indem die Arbeit auf drei Bahnen einer einzelnen 32 GB-GPU verteilt wird – und jede Vertrauensaussage als falsifizierbare Hypothese formuliert ist.
Working PaperInfrastruktur gemessen · Judge-Qualitätshypothesen in Validierung
Günstig genug für den Betrieb. Vertrauenswürdig genug, um zu zählen.
Ein Evaluierungs-Judge ist nur dann von Nutzen, wenn er beides zugleich ist: günstig genug für den Lauf über große Datensätze und vertrauenswürdig genug, dass seine Urteile Gewicht haben.
Die Sorge ist nicht hypothetisch: Low-Bit-Quantisierung degradiert bekanntermaßen genau die prozedurale Reasoning-Fähigkeit, auf die ein Evaluierungs-Judge angewiesen ist – Studien berichten Einbußen von bis zu ~32 % beim mathematischen Reasoning unter aggressiver Post-Training-Quantisierung, am stärksten bei komplexem, mehrschrittigem Reasoning. Das Urteilen entlang einer detaillierten Rubric ist eine prozedurale Reasoning-Aufgabe. Die Treue eines NVFP4-Judge wird hier deshalb als zu prüfende Hypothese behandelt (H1), nicht als Designannahme.
Rund 80 % der operativen Last ist Batch-Evaluierung von Datensätzen gegen stabile, eingefrorene Rubrics; der Rest ist der Entwurf zweiseitiger Rubrics, die agentische Coding-Systeme gezielt unter Stress setzen. Der Beitrag ist kein neues Modell, sondern ein messbares Evaluierungsprotokoll – portabel by design, implementierbar auf etablierten offenen Evaluierungs-Frameworks statt an deren Stelle.
Drei Bahnen, eine GPU.
Das Bulk-Judging läuft lokal in FP4; ein Frontier-Arbiter wird nur dort gesampelt, wo ein Urteil strittig ist. Eine einzige Rubric-Definition regiert alle drei Bahnen.
Ein Modell, das selbst evaluiert wird, läuft mit vollen Gewichten – nur ein Judge oder eine Open-Weight-Baseline darf komprimiert laufen. Wer ein komprimiertes System benotet, misst die geschrumpfte Kopie, nicht das Modell.
Fünf Hypothesen, H1–H5.
Jede Vertrauensaussage ist als Hypothese mit definierter Metrik, Instrument, Baseline und Zielwert formuliert – die Glaubwürdigkeit der Pipeline stützt sich auf Evidenz statt Behauptung. Dieses Paper berichtet bewusst keine Übereinstimmungsstatistik, die es nicht gemessen hat.
VRAM-Budget & Kostenkaskade.
Zwei Zahlen tragen das Design: Alles passt mit Reserve auf eine Karte, und die Arbiter-Kosten fallen stufenweise statt auf einen Schlag.
Rubric-Gates.
Rubrics gelten erst dann als vertrauenswürdig, wenn sie einen Spießrutenlauf aus vier Gates überstehen – dann werden sie eingefroren. Eine Rubric, auf der alles besteht, misst nichts.
Eine eingefrorene Rubric plus Hash ist der operative Mechanismus hinter H2 – und die direkte Antwort auf die Benchmark-Memorierungs-Kritik in der Agentic-Coding-Literatur. Ausführungsfakten fließen als Ergebnissignale ein (Compile-Status, Pass/Fail-Zähler, Linter-Klassen), nie als Referenz-Patch – so bleiben Grounding-Gate und Kontaminations-Gate konsistent.
Vom Pilot zum offenen Protokoll.
Pilot-Infrastruktur
Gemessene Ko-Residenz und das Kostenmodell – die Infrastruktur-Ergebnisse, die dieses Working Paper berichtet.
Validierung der Urteilsqualität
Gelabeltes Set; die H1–H3-Übereinstimmungsstudie; Preprint v2 mit Statistik (arXiv + SSRN-Spiegel).
Skalierung & Generalisierung
Multi-Domain-Rubrics; Ablation des Arbiter-Samplings; externe Validität über einen Operator und eine Karte hinaus.
Offenes Protokoll & Tooling
Veröffentlichte Rubric-Gate-Spezifikation und ein Reproduzierbarkeitspaket – Seeds, Hashes, Container-Images, Configs.
Limitationen – vorab benannt.
- Korrelierter Fehler. Judge und Arbiter können blinde Flecken teilen; die Arbiter-Übereinstimmung ist daher eine Kalibrierungsreferenz, keine absolute Ground Truth. Gegenmaßnahme: unabhängige menschliche Labels verankern H1–H3, und der Arbiter stammt aus einer anderen Modellfamilie als der Judge.
- Menschliche Labels sind verrauscht. Annotatoren belohnen systematisch selbstbewusste, bestimmt formulierte Outputs – das Label-Rauschen wird über Inter-Annotator-Agreement quantifiziert statt wegdefiniert.
- Ein Operator, eine Hardware. Externe Validität über GPUs und Aufgabenverteilungen hinweg ist ungetestet (ein P2-Thema) – abgemildert durch ein Reproduzierbarkeitspaket, das Dritte selbst nachfahren können.
- Die NVFP4-Treue ist die offene Frage. Die Annahme, ein Judge in niedriger Präzision sei „verlustfrei genug“, ist genau das, was H1 prüft – die Quantisierungsliteratur gibt konkreten Anlass, einen nicht-trivialen Effekt zu erwarten.