Vertrauenswürdige Evaluation auf souveräner Hardware.
Evaluation ist der Flaschenhals vertrauenswürdiger KI: Die Fähigkeiten wachsen schneller als unsere Möglichkeit zu messen, ob ein System korrekt, ehrlich und sicher ist. Die dominante Annahme lautet, glaubwürdige Evaluation verlange Frontier-Cloud-Infrastruktur. Dieses Forschungsprogramm testet die Gegenthese – fünf ineinandergreifende Workstreams, End-to-End auf einer einzelnen 32 GB-GPU, jede Aussage als falsifizierbares Kriterium formuliert.
Ein Programm auf geteilter Infrastruktur – Komponenten wiederverwendet, nicht neu gebaut.
Umfang
4 Invarianten
Harte Regeln, die jeder Lauf erbt – vom Judging bis zum Safety-Test.
Disziplin
32 GB GPU
Souverän, air-gapped, reproduzierbar ohne Frontier-Compute.
Beschränkung
++
These
Vertrauenswürdig, reproduzierbar, ökonomisch – alle drei zugleich.
Ein diszipliniertes, hypothesengetriebenes Protokoll auf Commodity-Hardware kann Evaluationsevidenz erzeugen, die reproduzierbar, grounded und ökonomisch ist – und dieselbe Disziplin reicht von der Korrektheit einzelner Modelle bis zur Multi-Agent-Sicherheit auf Flottenebene.
Reproduzierbar heißt eingefrorene Referenzen und Content-Hashes: Ein Urteil lässt sich Monate später aus fixierten Artefakten re-derivieren, auch durch eine unabhängige Partei. Grounded heißt deterministische Ausführungsfakten – Compile-Status, Testergebnisse, aufgezeichnetes Verhalten – statt Meinung oder Selbstauskunft. Ökonomisch heißt lokales Low-Precision-Judging, verankert durch gesampelte Cloud-Arbitrierung – Evaluation im Datensatzmaßstab verlangt damit keine Cloud-Ausgaben im Datensatzmaßstab mehr.
Hält die These, ist die Prüfung dessen, was ein KI-System tatsächlich tut, kein Privileg der Organisationen mehr, die diese Systeme bauen – jeder mit einer einzelnen Consumer-GPU kann die Evidenz selbst reproduzieren.
Der strategische Punkt ist Unabhängigkeit: Glaubwürdige Evaluation, die nicht an Frontier-Infrastruktur hängt, erweitert den Kreis der Akteure, die reproduzierbare Sicherheitsforschung betreiben können. Die 32-GB-Karte ist die Reproduzierbarkeits-Untergrenze des Programms – die Schwelle, die jeder unabhängige Prüfer erreichen kann – nicht seine Obergrenze: Die Workstreams selbst definieren die Scale-up-Experimente darüber. Das Programm ist als Methodik-Schicht positioniert, kompatibel mit dem etablierten offenen Evaluations-Ökosystem – kein Ersatz dafür.
++
Invarianten
Vier harte Regeln, jeder Workstream.
Vier harte Regeln ziehen sich durch jeden Workstream. Sie sind das geteilte Substrat, das aus fünf Projekten ein Programm macht.
Invariante 01
Das geprüfte System wird nie komprimiert
Quantisierung ist ein Durchsatzhebel für den Judge, nie eine Abkürzung am Messobjekt. Wer ein komprimiertes System benotet, misst die geschrumpfte Kopie, nicht das Modell.
Invariante 02
Referenzen sind eingefroren und content-gehasht
Rubrics, Benchmarks und Szenarien sind unter semantischer Versionierung und Content-Hash fixiert – ein Score ist damit reproduzierbar, und eine spätere Änderung ist sichtbar statt still.
Invariante 03
Nicht vertrauenswürdiger Code läuft nur in der gehärteten Sandbox
Modellgenerierter Code läuft ohne Netzwerk, non-root, auf einem Read-only-Dateisystem, unter seccomp – ein Evaluierungslauf kann nicht exfiltrieren, eskalieren oder persistieren.
Invariante 04
Alles passt – und wird vermessen – auf einer Karte
Eine einzelne 32 GB-GPU ist die bewusste Beschränkung. Sie erzwingt ehrliches Engineering und hält jedes Ergebnis reproduzierbar für Teams ohne Frontier-Compute.
++
Workstreams
Ein Programm, fünf Workstreams.
Die fünf Workstreams teilen Infrastruktur und reichen einander Artefakte weiter – Execution Grounding ist das Rückgrat vom Judge (W1) über die Korrektheitsverifikation (W2) bis zum Safety-Beobachter (W4). Jedes Status-Label spiegelt, was tatsächlich gemessen wurde, nicht was geplant ist.
Ein Programm auf geteilter Infrastruktur. Execution Grounding ist das Rückgrat (W1 → W2 · W1 → W4); Wiederverwendung – nicht ein gemeinsames Motto – überträgt die Glaubwürdigkeit der vermessenen Workstreams auf die vorgeschlagenen.
W1
Hybride Evaluierungs-Pipeline
Infrastruktur gemessen · Validierung folgt
Eine Single-GPU-Pipeline, die das Judging auf drei Bahnen verteilt: ein lokaler vLLM-Judge, quantisiert auf NVFP4, für Batch-Scoring mit hohem Durchsatz; ein Frontier-Cloud-Arbiter, gesampelt als Gold-Standard-Anker; und eine interaktive Bahn für die Rubric-Entwicklung. Die Wette: Vertrauen und Kosten lassen sich entkoppeln – Kosten gedrückt durch Quantisierung nur am Judge, Vertrauen verteidigt durch Execution Grounding und Frozen Rubrics. Das ist der Hub: Seine gehärtete Sandbox und sein execution-grounded Judging werden von jedem anderen Workstream wiederverwendet.
Gemessen32B-Judge + 7B-Hilfsmodell ko-resident in 32 GB · kein SpillGemessen≈95 % Ersparnis auf den wiederkehrenden Arbiter-AnteilPrognostiziert≈10× Kosten pro 1k Urteile – P1-Ziel
Drei Bahnen, eine GPU, eine Rubric-Definition. Der Arbiter wird dort eingesetzt, wo er ein Urteil ändert – nicht bei jedem Item.
Statische Coding-Benchmarks verfallen, sobald ihre Aufgaben in Trainingskorpora durchsickern. W2 umgeht diesen Fehlermodus, indem es Evaluierungsaufgaben per AST-Analyse direkt aus echten, versionierten Repositories synthetisiert – Aufgaben werden zur reinen Funktion von (Commit, Extraktionsregeln), re-derivierbar und auffrischbar. Der Pilot lief mit 60 generierten Aufgaben End-to-End auf einer Karte; die ehrlich gelesene 100-%-Pass-Rate gilt als Beleg, dass das Aufgabenset gehärtet werden muss – nicht als Capability-Score.
Gemessen60/60 Aufgaben abgeschlossenGemessen4 min 57 s End-to-EndGemessen~200 tok/s · Single Streamoperatives Signal – kein Capability-Score
Drei Agent-Workloads – interaktive Recherche, Coding im Repository-Maßstab, unbeaufsichtigte Long-Horizon-Automatisierung – bedient von einer einzigen 32 GB-Karte: Jedes Tier wird der Modellarchitektur zugeordnet, deren Kosten es bezahlen kann, unter strikter Single-Residency – genau ein Modell resident, ein Tier-Wechsel tauscht es. Sicherheit wird dort am strengsten angewandt, wo Autonomie und Privilegien am höchsten sind – und gegen bekannte Agent-Framework-Angriffsklassen verifiziert statt angenommen.
Gemessenjedes einzelne Modell passt mit Reserve in 32 GBPrognostiziertCold-Swap ≤ 30 s · warmer Wechsel ≤ 3 s – A2-Kriterien
Sicherheitseigenschaften, die für einen einzelnen Agenten etabliert sind, komponieren nicht: Eine Flotte einzeln sicherer Agenten kann dennoch kolludieren, Fehler kaskadieren oder eine selbstreplizierende Prompt-Injection Agent-zu-Agent weitertragen. Das Risiko liegt auf den Inter-Agent-Kanälen, wo output-orientierte Benchmarks strukturell blind sind. W4 baut ein reproduzierbares Messinstrument – eine Fehlermodus-Taxonomie, die bestehende Arbeiten operationalisiert, verhaltensbasierte Risikometriken (Kaskadentiefe, Injection-Reichweite, Delegationssicherheit) und ein gehärtetes, voll beobachtetes Testbed, das jedes Team vor dem Deployment fahren kann.
Die tragende Größe
Die Emergenz-Lücke – die Differenz zwischen dem Risiko der Flotte und dem Aggregat ihrer einzeln evaluierten Agenten.
Der Souveränitäts-Fall, der lokale Evaluation überhaupt motiviert: ein lokaler Assistent mit dem Schliff einer modernen Chat-App, erreichbar vom Telefon über ein Ende-zu-Ende-verschlüsseltes Mesh, das keine Ports öffnet – Inferenz und Verlauf auf eigener Hardware, mit null Content-Egress als per Packet Capture verifizierbarer Aussage. Eine Architektur skaliert Consumer → Enterprise durch zusätzliche Hardware für Compute und eine Governance-Schicht für Isolation.
Die Papers teilen mehr als ein Template – sie teilen eine methodische Signatur, die selbst ein Glaubwürdigkeitsmerkmal ist.
M-1
Gemessen oder prognostiziert – immer gelabeltJede Aussage trägt ihren Evidenzstatus. Keine ungemessene Zahl wird als Ergebnis präsentiert; Version 1 jedes Papers etabliert Design und Messplan, Version 2 ergänzt die empirische Statistik.
M-2
Falsifizierbare AbnahmekriterienJeder Workstream formuliert seine Kriterien im Voraus – mit Instrument, Baseline und Pass/Fail-Schwelle –, damit Erfolg später nicht stillschweigend umdefiniert werden kann.
M-3
Die DiskriminationsregelEine Metrik, auf der jeder Lauf identisch abschneidet, misst nichts und wird nicht ausgeliefert. Eine Rubric, die alles besteht, ist ein Befund über die Rubric.
M-4
Re-derivierbare ArtefakteErgebnisse sind aus fixierten, content-gehashten Artefakten reproduzierbar – ein Audit-Objekt, das ein Dritter Monate später auf einer einzelnen 32-GB-Karte erneut ausführen kann, kein Bauchgefühl.
++
Roadmap
Glaubwürdigkeit vor Ambition.
Vier Phasen, so sequenziert, dass das Programm empirische Glaubwürdigkeit aufbaut, bevor es seine ambitionierteste Aussage macht. Der kritische Pfad ist P1: Er verwandelt Infrastruktur-Papers in empirische Studien mit menschlich gelabelter und execution-verifizierter Evidenz.
P0Abgeschlossen
Pilot-Infrastruktur
W1–W3-Infrastruktur gemessen; gehärtete Sandbox steht; W2-Pilot gelaufen. Working Papers v1 als Set veröffentlicht.
P1Kritischer PfadZeitnah
Empirische Validierung
Übereinstimmungsstudie am gelabelten Set für W1; Kontaminationslücke und execution-grounded Korrektheit für W2. Preprints v2 mit Statistik.
P2Mittelfristig
Multi-Agent-Testbed
W4-Testbed und Beobachter auf dem validierten W1/W2-Substrat; Multi-Repository-Generalisierung; Einreichung eines Forschungsantrags.
P3Später
Offene Protokolle
Veröffentlichte Rubric-Gate-Spezifikation und Reproduzierbarkeitspakete; W5-Deployment-Studie; Anschlussförderung.
Stabile URLs – Papers werden bei Versionssprüngen an Ort und Stelle aktualisiert. Preprint-Einreichung: arXiv primär, SSRN-Spiegel.
Dissemination
Working Papers werden versioniert und als Preprints publiziert – arXiv primär, SSRN-Spiegel – verknüpft mit einer einzigen ORCID für Autorenkontinuität. Version 1 jedes Papers etabliert Design und Messplan; Version 2 ergänzt die empirische Statistik aus P1. Archiv-URLs sind stabil; Papers werden an Ort und Stelle aktualisiert.
Förderhaltung
Das Programm ist auf nicht-verwässernde Forschungsförderung in vertrauenswürdiger Evaluation und Multi-Agent-Safety ausgelegt. Das souveräne Fundament hält die Verifikation per Design günstig; Förderung trägt das Programm darüber hinaus – unabhängige menschliche Evidenz, die in den Papers definierten Scale-up-Experimente, Release-Engineering. Grants bleiben Upside, nicht Fundament.