QA Runde 2 - Abdeckung, Siegel am Gate, und der Formen-Fähigkeitstest¶

Von Chris/Claude an Marco, Stand 2026-08-13. Bezug: ANTWORT_AN_CHRIS_QA_RUNDE1.md, Abschnitt 5 (deine fünf Vorgaben, alle umgesetzt) und ANTWORT_AN_CHRIS_RUNDE3.md, Abschnitt 4 (Commit-Zeit als Deploy-Anker, am Umschlagpunkt bewiesen). Vollständige Daten: lenny_qa_runde2.md (491 KB, lesbar) und lenny_qa_runde2.jsonl (764 KB, maschinenlesbar, je Fall mit Zeitstempel und Gate-Lage).

Eckdaten: 605 Fragen gestellt (davon 35 Zweiturn, die außen vor bleiben), 560 beantwortet, 548 unabhängig geprüft, 12 Prüfausfälle (Brücken-Timeouts, als Lücke ausgewiesen, nicht als Urteil). Runde 2 war der Formen-Fähigkeitstest: 20 Frageformen statt nur "Was ist X?". Grammatik wurde vorgabegemäß nicht bewertet.

1. Abdeckung - die Leitkennzahl, mit einer nötigen Trennung¶

Zuerst das Rohbild, alle Fußzeilen beider Runden nebeneinander:

Fußzeile (Siegel)	Runde 1 (518)	Runde 2 (560)
unsicher (Verweigerungspfad)	14,7 %	60,5 %
teilweise (Erdung + ungeprüfte Ergänzung)	39,6 %	22,9 %
NICHT gedeckt (`offen`)	30,7 %	0 %
kein Footer	0,6 %	11,2 %
geprüft	10,4 %	2,3 %
leer (keine Antwortbasis)	1,4 %	2,1 %
Fragmentkandidat	2,3 %	0,7 %
extern gesichert	0,4 %	0,2 %

Drei Verschiebungen springen heraus: offen ist vollständig durch den Verweigerungspfad ersetzt (Abschnitt 2), kein Footer hat sich verzwanzigfacht (Frage 2 unten), und der Anteil versiegelter Antworten (geprüft + teilweise) fiel von 50 % auf 25 % - was direkt die Frageformen spiegelt:

Gesamt trugen 142 von 560 Antworten (25,4 %) geprüftes Wissen - gegenüber 50,4 % in Runde 1 scheinbar ein Absturz. Es ist keiner: es ist die Frageform.

Form (Beispiele)	n	davon gedeckt
Def ("Was ist X?")	155	60,6 %
Vgl (Vergleich)	87	26,4 %
Urs (Ursache)	75	20,0 %
Zwk (Zweck)	79	6,3 %
Abl / Abw (Ablauf / Abwägung)	90	0 %

Dein Graph besteht aus is_a/has_property - der kann Definitionsfragen erden, aber strukturell keine Ursachen, Zwecke oder Abläufe. Die faire Vergleichszahl zu Runde 1 ist deshalb die Def-Zeile: 60,6 % gegen 50,4 %. Wenn das kein Zufall der Begriffsauswahl ist, ist die Abdeckung bei Definitionen gewachsen - dein Hinweis gilt: dein DB-Fix und unsere Fragen wirken auf dieselbe Kennzahl, wir können von außen nicht trennen, was wovon kam.

Die 0 %-Zeilen sind dabei kein Fehlerbefund, sondern eine saubere Messung der Strukturgrenze: für alles außer Taxonomie springt durchgehend das Sprachmodell ein.

2. "Siegel passt nicht" - gemessen wie erbeten, mit unerwartetem Ergebnis¶

Roh sieht die Quote dramatisch aus: 63 % NEIN gesamt (Runde 1: 24 %). Diese Rohzahl ist aber zum Großteil ein Artefakt unseres Prüfmaßstabs, nicht ein Befund über Lenny - Chris hat es beim Review gefunden:

339 Antworten (60,5 %) trugen die unsicher-Fußzeile. Die sagt "für diese Antwort habe ich kein geprüftes Wissen" - eine Herkunftsangabe, kein Qualitätsversprechen. Unser Prüfer verglich das Siegel aber gegen die inhaltliche Qualität und wertete eine gute improvisierte Antwort mit ehrlicher unsicher-Kennzeichnung als "Siegel passt nicht". Das ist korrekt etikettierte Vorsicht, als Fehler gezählt. Die 65 % NEIN auf unsicher-Antworten messen die Messlatte, nicht den Gemessenen.

Wir haben deshalb nachkorrigiert statt neu gemessen - alle Rohdaten lagen vor. Regel: bei versiegelten Antworten (geprüft/teilweise/extern) gilt das Prüfer-Urteil weiter, denn dort behauptet die Fußzeile Qualität; bei Nichtwissens-Fußzeilen (unsicher/leer/kandidat, in Runde 1 auch "NICHT gedeckt") passt das Siegel per Definition - außer der Text behauptet Gewissheit, die die Fußzeile verneint. Diese Ausnahme haben wir an einer Stichprobe von 18 unsicher-Antworten von Hand geprüft: 18 von 18 beginnen mit ausdrücklichem Zögern, der Verweigerungspfad formuliert uniform vorsichtig. Beide Runden mit derselben korrigierten Regel:

Siegel-Fehlquote (korrigiert)	Runde 1	Runde 2
gesamt (alle Fußzeilen)	11,1 %	13,7 %
nur versiegelte Antworten	21,7 % (57/263)	45,8 % (65/142)

Gesamt ist die Fußzeilen-Ehrlichkeit also hoch und stabil - rund neun von zehn Fußzeilen passen zu dem, was sie behaupten. Das Problem konzentriert sich auf die versiegelten Antworten: dort hat sich die Fehlquote gegen Runde 1 verdoppelt (Vorsicht beim geprüft-Status: nur n=13, davon 10 beanstandet; die Masse ist teilweise mit 54 von 128). Ab Runde 3 misst der Prüfer direkt mit dem korrigierten Maßstab.

Zwei echte Befunde stecken trotzdem darin:

Der Verweigerungspfad hat "NICHT gedeckt" vollständig abgelöst - wie von dir gebaut. Runde 1: 30,7 % offen-Fußzeilen. Runde 2: 0 Fälle, alles läuft durch die unsicher-Formulierung. Das deckt sich exakt mit deiner Beschreibung von 9a86dd2 ("davor antwortete das Modell bei fehlendem Wissen frei, seither formuliert es ausdrücklich unsicher") und mit unserer Umschlagpunkt-Messung, wo der Wechsel der Fußzeilen live zu sehen ist. Die Ablösung ist lückenlos - kein einziger Rückfall in 560 Antworten.

Das Modell improvisiert gut, wo die Erdung fehlt: 85-88 % der geprüften unsicher-Antworten bewertete der Prüfer inhaltlich als gut oder teilweise. Das ist keine Schwäche, sondern eine Landkarte: genau diese Begriffe und Formen sind die Stellen, an denen Füttern und deine Anreicherung den größten Hebel haben.

Übertreibung - die gefährliche Richtung, auf die dein Gate zielt und wo die Fußzeile tatsächlich Qualität behauptet - getrennt am Deploy-Anker (311b84b, 10.08. 13:21, Commit-Zeit als Deploy-Zeit):

Antworten mit Vertrauens-Siegel (geprüft/teilweise)	n	Urteil nicht "gut"
vor dem Gate	117	78 %
nach dem Gate	24	71 %

Ein Gate-Effekt ist darin nicht erkennbar. Du hattest geschrieben: die Quote sollte nach dem Output-Gate deutlich fallen, "falls nicht, wollen wir das wissen". Hiermit weißt du es - mit zwei ehrlichen Einschränkungen: n=24 nach dem Gate ist dünn, und der Prüfer bewertet strenger als "mechanisch kaputt" (dein Gate fängt Verstümmelung und Zeichenmüll, der Prüfer bemängelt auch inhaltliche Lücken, die das Gate nie fangen sollte). Ein gezielter Blick auf die 17 Nach-Gate-Fälle im JSONL lohnt trotzdem.

3. Der Formen-Fähigkeitstest: klare Kante zwischen Wissen und Werkzeug¶

Bei den Wissensformen (Def, Vgl, Urs, Zwk, Abl, Abw) liegt das Urteil überwiegend bei "teilweise" - das Sprachmodell improvisiert brauchbar über dünner Erdung.

Bei den Werkzeugformen ist das Ergebnis binär: Umformulieren (Umf), Zerlegung (Zlg), Tonanpassung (Ton), Längensteuerung (Lng), Strukturierung (Str), Zusammenfassung (Zsf), Mehrfachnennung (Mnf) - jede einzelne Antwort problematisch, 100 % Siegel-NEIN. Diese Fähigkeiten existieren im aktuellen Aufbau nicht; die Antworten behandeln die Anweisung als Wissensfrage. Kein Drama, aber eine saubere Karte dessen, was ein Loop-A-Formulierer später können muss und heute niemand kann.

Sinnfragen (Sinn) und Selbstbezug (Slb) fallen ebenfalls überwiegend durch - dort mischt sich Verweigerung mit Kategorienfehlern.

4. Was wir für Runde 3 daraus ziehen¶

Def-Fragen bleiben der Wissensaufbau-Kanal - sie sind die einzige Form, die dein Graph erden kann, und dort wächst die Abdeckung. Runde 3 ist bereits so gebaut (240 Def-Fragen, konkrete Begriffe zuerst, nach deinem Ernte-Befund).
Die Werkzeugformen pausieren wir, bis Loop A steht - sie messen sonst nur wiederholt dieselbe Leerstelle und kosten Schlangenplatz.
Die Improvisations-Quote nehmen wir als neue Standing-Kennzahl neben "Siegel passt nicht": Anteil unsicher-Antworten, die der Prüfer inhaltlich als gut/teilweise bewertet. Sie misst, wie oft das Modell trägt, wo die Erdung fehlt - fällt sie bei gleichbleibender Abdeckung, wird es eng; wandern ihre Fälle in gedeckte Status, wächst der Graph genau dort, wo es zählt.
Unser Prüfmaßstab wird korrigiert: "Siegel passt" wird ab Runde 3 nur noch gegen die tatsächliche Behauptung der Fußzeile geprüft - eine ehrliche unsicher-Kennzeichnung auf guter Improvisation ist kein Siegel-Fehler.

5. Offene Fragen an dich¶

Die 24 versiegelten Nach-Gate-Antworten mit 71 % Beanstandung: magst du sie gegen dein internes lenny_path legen? Wenn sie alle mix/llm sind, beißt das Gate am deterministischen Pfad und die Formulierer bleiben das Loch.
Ist die Häufung von kein-footer (63 Fälle, 11,2 %) bekannt? In Runde 1 waren es 0,6 %. Vielleicht einer der sechs Antwortpfade, die an der Sanitisierung vorbeiliefen - die Fälle stehen markiert im JSONL.

6. Methodik und Grenzen¶

Alle Siegel-Werte in JSONL und Falldatei tragen einheitlich den korrigierten Maßstab aus Abschnitt 2 (bei versiegelten Antworten das Prüfer-Urteil, bei Nichtwissens-Fußzeilen "ja", ohne Fußzeile "entfällt"). Fußzeile wörtlich je Fall protokolliert (deine Vorgabe 1), kein Pfad-Raten - die Formulierer-Achse kannst nur du anlegen, ab Runde 3 liefert lenny_path sie mit. Urteile stammen vom einzelnen Prüfer-Profil (lenny.review, gpt-5.6-luna); Einzelurteile schwanken, nur Summen tragen. 12 Fälle blieben nach zwei Anläufen unprüfbar (Timeouts) und fehlen in den Prozentzahlen. Antwort-Zeitstempel stammen aus den Assistenten-Nachrichten, die Gate-Lage (nach_gate) steht an jedem JSONL-Fall. Grammatik wurde nicht bewertet (deine Vorgabe 5); Unsinnsfragen gab es in Runde 2 nicht, die Messung läuft mit 20 neuen Fragen in Runde 3 weiter (deine Vorgabe 4).