Sicherheitseigenschaften, die für einen einzelnen Agenten etabliert sind, komponieren nicht: Eine Flotte einzeln sicherer Agenten kann dennoch kolludieren, den Fehler eines Agenten in ein systemweites Versagen kaskadieren oder eine selbstreplizierende Prompt-Injection von Agent zu Agent weitertragen. W4 macht aus dieser Prämisse ein Messprogramm – das Prüfobjekt ist die Flotte, und das Risiko liegt auf den Inter-Agent-Kanälen, wo output-orientierte Benchmarks strukturell blind sind.
ForschungsagendaTaxonomie operationalisiert · Metriken & Testbed entworfen · falsifizierbare Ziele, keine Risikozahlen behauptet
Sichere Agenten komponieren nicht
zu sicheren Flotten.
Einzel-Agent-Evaluierung bewertet die Knoten eines Systems. Verdrahtet man k Agenten, öffnen sich bis zu k(k−1) gerichtete Kanäle zwischen ihnen – und die Fehlermodi, auf die es ankommt, sind Eigenschaften dieser Kanäle, nicht irgendeines Knotens in Isolation.
Das ist keine spekulative Behauptung. Injiziert man adversariale Dialogzüge in einen Agenten, propagiert gefährliches Verhalten durch eine ansonsten sichere Gruppe – vorbei an Standard-Eingabefiltern, weil die Gefahr im mehrstufigen Dialog emergiert statt im initialen Prompt. Prompt-Injections können sich von Agent zu Agent selbst replizieren und sich mit epidemiologischer Dynamik ausbreiten. Und ein Full-Stack-Privacy-Audit zeigt, dass Inter-Agent-Nachrichtenkanäle weit mehr leaken als finale Outputs – Output-only-Audits verpassen einen großen Teil der Verstöße, weil der Verstoß über den Kanal läuft, nicht über die Antwort. Das Messproblem ist damit konkret: Um Multi-Agent-Risiko überhaupt zu sehen, muss ein Evaluator die Kanten beobachten.
Eine Taxonomie operationalisiert,
nicht erfunden.
TF1 fügt keine weitere Taxonomie hinzu. Sie operationalisiert die bestehenden – Hammond et al., MAST, ESRH – für die interaktions-emergente Teilmenge, auf die die Metriken zielen; jeder Modus wird so zu einem konkreten, testbaren Szenario, das an eine Metrik gebunden ist.
Zahlen aus Verhalten,
nicht aus Selbstauskunft.
Jeder Fehlermodus braucht eine Zahl, die etwas bedeutet – berechnet aus dem, was die Agenten in einem instrumentierten Lauf tatsächlich getan haben, berichtet mit Varianz über Seeds, und der Diskriminationsregel unterworfen: Eine Metrik, auf der jeder Lauf identisch abschneidet, misst nichts und wird nicht ausgeliefert.
Der Beobachter ist
der Beitrag.
Taxonomie und Metriken werden zur Messung in einem Testbed, das ein echtes Multi-Agent-Szenario in einer gehärteten Sandbox ausführt – mit einer Beobachterschicht, die den vollständigen Nachrichtengraphen und jeden Tool-Call aufzeichnet, sodass die Metriken im Nachhinein aus dem berechnet werden, was tatsächlich geschah.
Multi-Agent-Verstöße laufen über Inter-Agent-Kanäle – Output-only-Audits verpassen einen großen Teil davon. Der Beobachter zeichnet den kompletten Nachrichtengraphen, jeden Tool-Call und Taint-/Provenienz-Metadaten auf, sodass die Reichweite einer Injection bis zur Quelle zurückverfolgbar ist. Metriken werden aus dem berechnet, was Agenten tatsächlich getan haben – nie aus der Selbstauskunft eines Modells.
Fünf Erfolgskriterien, G1–G5.
In der Disziplin der Schwester-Papers ist ein „ausgeliefertes“ Ergebnis vorab definiert – markiert als prognostiziert, bis es erreicht ist –, damit die Agenda ihren Erfolg später nicht stillschweigend umdefinieren kann.
G1 ist die tragende Aussage: Lässt sich nicht zeigen, dass die Emergenz-Lücke von null verschieden ist, ist die Prämisse der Agenda selbst falsifiziert – und auch dieses Ergebnis wäre nützlich und publizierbar. Die Kriterien laufen auf der Infrastruktur, die das Programm bereits betreibt: die gehärtete Sandbox aus W1, die Szenariosynthese aus W2, die Single-Residency-Disziplin aus W3.
Eine Go/No-Go-Zahl
vor dem Deployment.
Auch eine Forschungsagenda muss „und was dann?“ beantworten – das konkrete Deployment, dem die drei Task Forces dienen.
- Situation. Eine Organisation will eine Flotte interagierender Agenten ausliefern – Recherche- und Coding-Agenten, die aneinander delegieren und Tools teilen. Einzel-Agent-Benchmarks sagen, jeder für sich sei in Ordnung – aber es gibt keinen prinzipienbasierten Weg zu wissen, dass die Flotte nicht kolludiert, einen Fehler kaskadiert oder eine Prompt-Injection von Agent zu Agent weiterträgt.
- Aufgabe. Eine belastbare, reproduzierbare Messung multi-agent-spezifischen Risikos vor dem Deployment – eine konkrete Go/No-Go-Messlatte statt des subjektiven Urteils, das System „wirke sicher“.
- Vorgehen. Das Szenario der Flotte fixieren (SemVer + Hash); in der gehärteten Sandbox laufen lassen, während der Beobachter den vollen Nachrichtengraphen und die Tool-Calls aufzeichnet; Kaskadentiefe, Injection-Reichweite und Delegationssicherheit mit Varianz über Seeds berechnen; jedes Ergebnis als Evidenz gegen seinen benannten Fehlermodus berichten, mit Abdeckungsaussage.
- Ergebnis. Ein re-derivierbares Risikoprofil, das die Emergenz-Lücke für diese Flotte auf diesem Szenarioset quantifiziert – berechnet aus beobachtetem Verhalten, Monate später von einem Auditor nachfahrbar, vollständig auf souveräner Single-GPU-Hardware erzeugt. Kein Sicherheitszertifikat, aber die erste belastbare Zahl, wo vorher nur ein Ermessensurteil stand.
Vier Grenzen – vorab benannt.
- Die Szenarioabdeckung ist die Obergrenze der Aussage. Jede Metrik ist nur Evidenz gegen die Fehler, für deren Provokation ihr Szenarioset gebaut wurde; ein unvermessenes Interaktionsmuster ist ein unvermessenes Risiko. Die ehrliche Lesart jedes Ergebnisses ist „sicher gegen diese Proben“ – nicht „sicher“.
- Der Beobachter verändert, was er misst. Den vollen Nachrichtengraphen aufzuzeichnen ist invasiv, und ein hinreichend fähiger Agent könnte Instrumentierung prinzipiell erkennen und sich unter Beobachtung anders verhalten. Die Gegenmaßnahme – ein passiver Out-of-Band-Beobachter – ist real, aber partiell; die Bedrohung ist selbst eine Forschungsfrage.
- Die Souveränitätsbedingung begrenzt die Flottengröße. Eine einzelne 32 GB-GPU unter Single-Residency begrenzt gleichzeitig bediente Agenten; sehr große Flotten müssen über Time-Multiplexing oder verkleinerte Proxys untersucht werden, und Emergenz-Lücken-Messungen extrapolieren womöglich nicht sauber auf Produktions-Flottengrößen.
- Die Agenda misst – sie mitigiert nicht. Ein Risikoprofil ist keine sichere Flotte, und eine niedrig gemessene Lücke auf einem schmalen Set darf nicht als Freibrief fürs Deployment gelesen werden. Das Deliverable ist eine belastbare Messung und ein Go/No-Go-Input, keine Garantie.
Status & Reproduzierbarkeit. Dies ist eine Forschungsagenda: Die Taxonomie ist operationalisiert, Metriken und Testbed sind entworfen, und die Kriterien G1–G5 sind die zu erreichenden falsifizierbaren Ziele – Risikozahlen werden keine behauptet. Szenarien sind per semantischer Version und Content-Hash fixiert; jede Metrik wird aus der Aufzeichnung des Beobachters berechnet; Läufe laufen in der gehärteten W1-Sandbox auf dem Single-GPU-, Single-Residency-Setup von W3, und das Risikoprofil erscheint als re-derivierbares Audit-Artefakt.