Wenn Falschliegen teuer ist

llm-council schickt eine Frage durch einen Rat von fünf Beratern. Jeder analysiert unabhängig, danach begutachten sie sich anonym gegenseitig, und ein Vorsitzender führt das Ergebnis zu einem Urteil zusammen.

Die Idee stammt aus Andrej Karpathys LLM Council. Umgesetzt ist sie hier nicht mit fünf verschiedenen Modellen, sondern mit fünf unterschiedlichen Blickwinkeln auf demselben Modell — der Gewinn kommt aus der Unabhängigkeit, nicht aus dem Anbieter.

Warum anonym

Wenn ein Berater weiß, wessen Vorschlag er begutachtet, begutachtet er die Person mit. Anonym bleibt nur das Argument übrig. Aus demselben Gedanken heraus kennen auch die Prüfagenten das Urteil des Autors nicht.

Wann Sie ihn rufen

Wenn Falschliegen teuer ist und es einen echten Zielkonflikt gibt:

Zwei Architekturwege, die beide vertretbar sind
Eine Migration, die sich schlecht zurücknehmen lässt
Eine Preis- oder Vertragsfrage mit Folgen für Bestandskunden
Eine Entscheidung, die Sie in sechs Monaten erklären müssen

Wann ausdrücklich nicht

Nicht dafür	Sondern
Faktenfragen („wie heißt die Option?“)	nachsehen
Erstellungsaufgaben („schreib mir den Text“)	direkt beauftragen
Zusammenfassungen	direkt beauftragen
Eine Frage, die eine Messung beantwortet	messen

Der Fehler hinter dem letzten Punkt ist der teuerste. Ein Rat, der über eine Zahl berät, die man in dreißig Sekunden messen könnte, produziert fünf gut begründete Meinungen über eine unbekannte Tatsache.

Er kommt auch ungerufen

In der Fehlersuche ruft Code Guardian nach dem zweiten Fehlschlag bedingungslos den Rat hinzu. Das ist der Moment, in dem sonst die dritte Variante derselben falschen Idee entsteht.

Und im Autopiloten geht jede Rückfrage an ihn — dort ist er der Ersatz für Sie.

Was zurückkommt

Kein Ja oder Nein, sondern: wo die Berater übereinstimmen, wo sie kollidieren, und was daraus folgt. Die Stellen, an denen sie sich uneinig sind, sind die wertvollsten — dort liegt das eigentliche Risiko Ihrer Entscheidung.

In einem Satz

Den Rat rufen Sie bei echten, folgenreichen Zielkonflikten — nicht bei Fragen, die eine Messung beantwortet.

Dieses Kapitel als Auftrag an Claude Code

Kopieren, die Platzhalter in spitzen Klammern durch Ihre eigenen Angaben ersetzen und in Claude Code einfügen. Der Auftrag ist für Claude Code geschrieben.

Lass den llm-council über diese Entscheidung laufen: <die Entscheidung, mit beiden Wegen und dem, was jeweils daran hängt> Prüfe aber ZUERST, ob eine Messung die Frage schon beantwortet. Wenn ja, miss, statt zu beraten — fünf Meinungen über eine unbekannte Tatsache sind teuer und wertlos. Sag mir am Ende nicht nur das Ergebnis, sondern auch, wo die Berater sich uneinig waren. Dort liegt mein eigentliches Risiko.