Messungen
Seit August 2026 vergleicht die CG-Arena kontrolliert, wie ein Modell mit und ohne Code Guardian an derselben Aufgabe abschneidet. Diese Seite fasst Methode und Stand zusammen.
Methode
- Dasselbe Modell tritt mit und ohne Code Guardian an derselben Aufgabe an, je Arm 5 Läufe.
- Ein zusätzlicher Arm mit Code Guardian dient als Rauschgrenze.
- Bewertet wird mechanisch nach einer vorab festgelegten Tabelle, geprüft mit einem exakten Permutationstest.
Stand
Mit und ohne Code Guardian, dasselbe Modell, dieselbe Aufgabe:
- 10 Läufe, alle mit Urteil.
- 7-mal schneidet Code Guardian messbar besser ab.
- 3-mal ist das Ergebnis nicht entscheidbar.
- Der jüngste Lauf ist nicht entscheidbar (p = 0.19).
- Kein Lauf zeigt Code Guardian schlechter als ohne.
Ein zweites Szenario vergleicht zwei Arbeitsweisen, die BEIDE mit Code Guardian laufen (orchestriert gegen klassisch). Es sagt nichts über mit oder ohne und steht deshalb getrennt: 3 Läufe, davon 1 ohne belegten Unterschied, 2 ohne Urteil.
Grenzen der Messung
- Die Stichprobe ist klein, und die Aufgaben stammen aus Szenarien des Herstellers, nicht aus Ihrem Projekt.
Grenzen des Produkts
- Code Guardian schützt gegen einen nachlässigen Agenten, nicht gegen einen, der absichtlich umgehen will.
- Unter PowerShell sieht nur ein Teil der Befehls-Riegel die Befehle, Git Bash ist der unterstützte Weg.
- Volle Werkzeugtiefe, also statische Analyse und Mutationstests, gibt es nur für PHP/Laravel und für JS/TS/Vue. Andere Sprachen bekommen Gates, Reflexe und den Slop-Scanner.
- Keine Rechtsberatung.
PRUEFNACHWEIS.md
Im Paket liegt PRUEFNACHWEIS.md. Sie entsteht beim Bau des Pakets und beschreibt die Prüfebenen des Pakets selbst. Sie beweist nichts über Ihr Projekt.
In einem Satz
Die CG-Arena belegt einen wiederholten, aber zahlenmäßig kleinen Vorteil auf Szenarien des Herstellers, keine Garantie für ein bestimmtes Projekt.