Workstream W1 · Angewandte Forschung

Hybride Evaluierungs-Pipeline

Die Evaluierung agentischer Frontier-Coding-Systeme im Datensatzmaßstab erzwingt einen Zielkonflikt zwischen Kosten und Vertrauen. W1 löst ihn auf, indem die Arbeit auf drei Bahnen einer einzelnen 32 GB-GPU verteilt wird – und jede Vertrauensaussage als falsifizierbare Hypothese formuliert ist.

Working PaperInfrastruktur gemessen · Judge-Qualitätshypothesen in Validierung

++
32B + 7B in 32 GB
NVFP4-Gewichte und ein q8_0-KV-Cache halten Judge und Hilfsmodell ko-resident – ~7 GB Reserve, kein Spill.
Gemessen
≈95 % gespart
Der wiederkehrende Arbiter-Anteil – über Batch-Preise plus prefix-gecachte Rubric-Präambel.
Gemessen
≈10× / 1k
End-to-End-Kostenziel gegenüber einer reinen Frontier-Cloud-Baseline – bei nicht unterlegener Übereinstimmung (H4).
Ziel · prognostiziert
++
Kontext

Günstig genug für den Betrieb. Vertrauenswürdig genug, um zu zählen.

Ein Evaluierungs-Judge ist nur dann von Nutzen, wenn er beides zugleich ist: günstig genug für den Lauf über große Datensätze und vertrauenswürdig genug, dass seine Urteile Gewicht haben.

Die Sorge ist nicht hypothetisch: Low-Bit-Quantisierung degradiert bekanntermaßen genau die prozedurale Reasoning-Fähigkeit, auf die ein Evaluierungs-Judge angewiesen ist – Studien berichten Einbußen von bis zu ~32 % beim mathematischen Reasoning unter aggressiver Post-Training-Quantisierung, am stärksten bei komplexem, mehrschrittigem Reasoning. Das Urteilen entlang einer detaillierten Rubric ist eine prozedurale Reasoning-Aufgabe. Die Treue eines NVFP4-Judge wird hier deshalb als zu prüfende Hypothese behandelt (H1), nicht als Designannahme.

Rund 80 % der operativen Last ist Batch-Evaluierung von Datensätzen gegen stabile, eingefrorene Rubrics; der Rest ist der Entwurf zweiseitiger Rubrics, die agentische Coding-Systeme gezielt unter Stress setzen. Der Beitrag ist kein neues Modell, sondern ein messbares Evaluierungsprotokoll – portabel by design, implementierbar auf etablierten offenen Evaluierungs-Frameworks statt an deren Stelle.

++
Architektur

Drei Bahnen, eine GPU.

Das Bulk-Judging läuft lokal in FP4; ein Frontier-Arbiter wird nur dort gesampelt, wo ein Urteil strittig ist. Eine einzige Rubric-Definition regiert alle drei Bahnen.

Frozen rubric · semver + content hash cached prefix – write once, reuse per item RTX 5090 · 32 GB · single GPU Local batch judge · vLLM · NVFP4 (~32B) ~80% of workload · dataset-scale scoring 7B auxiliary routing · co-resident Interactive lane rubric authoring · adversarial probing Hardened sandbox no network · non-root · read-only · seccomp execution facts – compile status · test pass/fail · linter – ground the verdict (H1) Cloud arbiter frontier batch · cross-family sampled ~5–20% · anchor Precision rule System under test full weights – uncompressed
Reproduzierbare Urteile im Datensatzmaßstab zu lokalen Kosten. Der Arbiter wird dort eingesetzt, wo er ein Urteil ändert – gezielt bei Dissens und Grenzfällen, nicht flächendeckend.
Die Präzisions-Invariante

Ein Modell, das selbst evaluiert wird, läuft mit vollen Gewichten – nur ein Judge oder eine Open-Weight-Baseline darf komprimiert laufen. Wer ein komprimiertes System benotet, misst die geschrumpfte Kopie, nicht das Modell.

++
Falsifizierbare Aussagen

Fünf Hypothesen, H1–H5.

Jede Vertrauensaussage ist als Hypothese mit definierter Metrik, Instrument, Baseline und Zielwert formuliert – die Glaubwürdigkeit der Pipeline stützt sich auf Evidenz statt Behauptung. Dieses Paper berichtet bewusst keine Übereinstimmungsstatistik, die es nicht gemessen hat.

H1 Execution Grounding Versorgt man den Judge mit deterministischen Ausführungsfakten – Compile-Status, Test-Pass/Fail, Linter- und Type-Checker-Ausgaben –, steigt die Übereinstimmung mit menschlichen Labels, und die False-Accept-Rate bei subtil defektem Code sinkt. Doppelt motiviert: Grounding kann Signal hinzufügen – und es kann die Kompensation sein, die ein NVFP4-Judge für quantisierungsbedingte Reasoning-Verluste braucht. Falsifiziert, wenn: sich Judging mit und ohne Grounding in Cohens κ nicht über das Konfidenzintervall hinaus unterscheidet. In Validierung
H2 Frozen-Rubric-Reproduzierbarkeit Eine unter semantischer Versionierung und Content-Hash eingefrorene Rubric liefert hohe Test-Retest-Reliabilität über Zeit und Software-Updates hinweg – der Mechanismus, der einen Re-Run Monate später überhaupt erst mit dem ersten Lauf vergleichbar macht. Falsifiziert, wenn: die Urteilsübereinstimmung bei Re-Runs einer unveränderten Rubric-plus-Eingabe unter die vorregistrierte Schwelle fällt (vorgeschlagen ≥ 0,95). In Validierung
H3 Selbstkonsistenz als Konfidenz Die Urteilsvarianz über N stochastische Judge-Samples ist ein kalibrierter Proxy für Verlässlichkeit – hohe Varianz sagt geringere Korrektheit voraus und löst Enthaltung oder Eskalation an den Arbiter aus („trust or escalate“, operationalisiert auf einem lokalen Judge). Falsifiziert, wenn: kein monotoner Zusammenhang zwischen Sample-Varianz und Fehler besteht. In Validierung
H4 Gestufte Kosteneffizienz Lokales FP4 plus ein gesampelter Cloud-Arbiter erreicht grob eine Größenordnung niedrigere Kosten pro 1.000 Urteile als eine reine Frontier-Cloud-Baseline – bei nicht unterlegener Übereinstimmung. Der Kostenmechanismus – Batch-Floor und Prefix-Cache-Hebel – ist auf der Zielhardware bereits reproduziert. Falsifiziert, wenn: die Kostenreduktion das Ziel verfehlt oder die Übereinstimmung außerhalb der vorab gesetzten Marge liegt. Mechanismus gemessen
H5 Ko-Residenz ohne Spill Ein 32B-Judge (NVFP4) und ein 7B-Hilfsmodell residieren gemeinsam in 32 GB – mit begrenztem KV-Cache, ohne Spill in den Host-RAM, bei gehaltenem Batch-Durchsatz. Falsifiziert, wenn: unter der spezifizierten Last Spill oder eine VRAM-Kollision beobachtet wird. Gemessen
++
Gemessen

VRAM-Budget & Kostenkaskade.

Zwei Zahlen tragen das Design: Alles passt mit Reserve auf eine Karte, und die Arbiter-Kosten fallen stufenweise statt auf einen Schlag.

VRAM co-residency budget · 32 GB · measured 32B judge · NVFP4 · ~16 GB 7B aux ~5 KV ~2 OS ~2 headroom ~7 GB q8_0 KV cache halves the 32B judge's cache from ~4 GB to ~2 GB at 16k context – the trick that buys the headroom. 0 ──────── 32 GB
Direkter Beleg für H5: VRAM-Spitze unter der Obergrenze, null Spill in den System-RAM unter der Batch-Last.
Cost cascade · arbiter portion (relative) · mechanism measured 100% · interactive cloud baseline ~50% batch floor ~5% · prefix-cached rubric preamble per-item frontier calls batch pricing on the sampled arbiter rubric written to cache once, re-read per item
Der lokale Judge eliminiert die Cloud-Kosten pro Item für die Masse; der Arbiter-Anteil fällt anschließend stufenweise. Die End-to-End-Aussage von ≈10× (H4) bleibt bis zur P1-Studie ein Ziel.
++
Methode

Rubric-Gates.

Rubrics gelten erst dann als vertrauenswürdig, wenn sie einen Spießrutenlauf aus vier Gates überstehen – dann werden sie eingefroren. Eine Rubric, auf der alles besteht, misst nichts.

Eine eingefrorene Rubric plus Hash ist der operative Mechanismus hinter H2 – und die direkte Antwort auf die Benchmark-Memorierungs-Kritik in der Agentic-Coding-Literatur. Ausführungsfakten fließen als Ergebnissignale ein (Compile-Status, Pass/Fail-Zähler, Linter-Klassen), nie als Referenz-Patch – so bleiben Grounding-Gate und Kontaminations-Gate konsistent.

++
Roadmap

Vom Pilot zum offenen Protokoll.

P0 Abgeschlossen

Pilot-Infrastruktur

Gemessene Ko-Residenz und das Kostenmodell – die Infrastruktur-Ergebnisse, die dieses Working Paper berichtet.

P2 Geplant

Skalierung & Generalisierung

Multi-Domain-Rubrics; Ablation des Arbiter-Samplings; externe Validität über einen Operator und eine Karte hinaus.

P3 Geplant

Offenes Protokoll & Tooling

Veröffentlichte Rubric-Gate-Spezifikation und ein Reproduzierbarkeitspaket – Seeds, Hashes, Container-Images, Configs.

++
Ehrlichkeit

Limitationen – vorab benannt.

Validitätsrisiken – benannt, nicht vergraben
  • Korrelierter Fehler. Judge und Arbiter können blinde Flecken teilen; die Arbiter-Übereinstimmung ist daher eine Kalibrierungsreferenz, keine absolute Ground Truth. Gegenmaßnahme: unabhängige menschliche Labels verankern H1–H3, und der Arbiter stammt aus einer anderen Modellfamilie als der Judge.
  • Menschliche Labels sind verrauscht. Annotatoren belohnen systematisch selbstbewusste, bestimmt formulierte Outputs – das Label-Rauschen wird über Inter-Annotator-Agreement quantifiziert statt wegdefiniert.
  • Ein Operator, eine Hardware. Externe Validität über GPUs und Aufgabenverteilungen hinweg ist ungetestet (ein P2-Thema) – abgemildert durch ein Reproduzierbarkeitspaket, das Dritte selbst nachfahren können.
  • Die NVFP4-Treue ist die offene Frage. Die Annahme, ein Judge in niedriger Präzision sei „verlustfrei genug“, ist genau das, was H1 prüft – die Quantisierungsliteratur gibt konkreten Anlass, einen nicht-trivialen Effekt zu erwarten.