Antwort auf die QA-Einordnung - Umsetzung, neue Messdaten, Plan Runde 3¶

Von Chris/Claude an Marco, Stand 2026-08-12. Bezug: ANTWORT_AN_CHRIS_QA_RUNDE1.md.

Dieser Kanal ist neu: wir arbeiten ab jetzt auf dem Branch m0-perception und legen Austausch-Dokumente hier in docs/ ab. Damit erledigt sich auch dein Punkt 3.5 von selbst - unsere lokale Kopie war ein alter Schnappschuss, künftig messen wir gegen den HEAD dieses Branches.

1. Deine fünf Bitten aus Abschnitt 5 - alle umgesetzt¶

Deine Bitte	Umsetzung
Fußzeile mitprotokollieren, nach Pfad trennen	Fußzeile geht wörtlich je Zeile in die Arbeitstabelle. Der Bericht rät den Pfad bewusst NICHT (Begründung unten).
„Siegel passt nicht" weiter messen	Läuft unverändert weiter. Nach dem Output-Gate erwarten wir den Abfall, den du vorhergesagt hast.
Abdeckung sichtbar machen	Steht jetzt oben in jedem Auswertungsbericht. Runde 1: von 518 beantworteten Fragen trugen 261 (50,4 %) überhaupt geprüftes Wissen.
Unsinnsfragen beibehalten	Beibehalten, aber neu gebaut - 20 statt 12, Begründung in Abschnitt 3.
Grammatik erst wieder ab Loop A	Pausiert. Kein Grammatik-Urteil mehr, bis der deterministische Renderer der Regelfall ist.

Warum wir den Pfad nicht raten: Wir haben es zuerst versucht und an den eigenen Daten verworfen. Unsere Fußzeilen-Kennung und dein Pfad-Split sind nicht dieselbe Achse - die Fußzeile nennt die Wissensbasis, dein Split den Formulierer. Beleg aus unseren 518 Fällen gegen deine 354: bei den ersten beiden Zeilen decken wir uns fast exakt (teilweise 39,6 % zu 38,1 %, nicht gedeckt 30,7 % zu 32,8 %), bei „geprüft" gegen „deterministisch" gar nicht (10,4 % zu 0,8 %). Eine geprüft-Antwort kann trotzdem vom Modell formuliert sein. Also: wir liefern die Fußzeile wörtlich, den Pfad-Split machst du gegen deine internen Daten.

Vorschlag dazu, automatisierbar: Wenn die Fußzeile zusätzlich eine kurze maschinenlesbare Kennung trüge (etwa pfad=det|llm|mix am Ende), könnten wir die Trennung künftig selbst rechnen und du müsstest nichts mehr nachziehen. Kein Handschritt, eine Zeile am Antwort-Chokepunkt.

2. Neue Messdaten¶

Runde 2, Stand 2026-08-11 vormittags: 503 von 570 Einturn-Fragen beantwortet (88 %), 62 offen, 5 ohne Unterhaltung. Beantwortet bis Nummer 538, erste offene: 263.

Abarbeitungstempo, erstmals mit zwei Messpunkten: 377 beantwortet am 2026-08-10 mittags, 503 am 2026-08-11 vormittags - rund 126 Fragen pro Tag. Falls die Rate für dich von einer Kontingent- oder Lastgrenze abhängt, wäre das gut zu wissen; wir planen Rundengrößen danach.

Die 35 Zweiturn-Fragen aus Runde 2 bleiben bei uns bewusst liegen - unsere Strecke kann bisher nur Einturn. Falls core:text2text:chat mit history der vorgesehene Weg ist, bauen wir das ein.

Kleiner Hinweis: der KPI-Endpunkt /v1/kpi/relation_diversity antwortet seit dem 2026-08-11 mit 404. Umgezogen oder abgeschaltet?

3. Unsinnsfragen: neu gebaut, und ein Befund dazu¶

Wir haben die 12 geplanten Wiederholungen aus Runde 1 verworfen und stattdessen 20 neue Unsinnsfragen gebaut. Zwei Gründe:

Die alten Begriffe sind schon einmal durch die Nachschlag-Abfrage gelaufen. Eine Verweigerung beim zweiten Mal wäre nicht von inzwischen vorhandenem Wissen zu unterscheiden.
Robustheit heißt Übertragung: verweigert er Unsinn, den er nie gesehen hat. Wiederholte Fragen messen Wiedererkennung.

Gebaut nach den zehn Bauarten aus Runde 1, je zwei Vertreter (physikalische Größe auf Abstraktum, Belebtheit auf Unbelebtes, Zahl als Person, falsch zugeordnete Sinneswahrnehmung, geometrischer Widerspruch, Zeit als Objekt, personifizierter Kalender, naturwissenschaftliche Einheit auf Abstraktum, Geografie auf Abstraktum, Widerspruch in sich). Verglichen wird die Quote gegen Runde 1, nicht die einzelne Frage. Bei 9 der 20 kennt Lenny den Begriff bereits - dort feuert die Nachschlag-Abfrage nicht, die Frage erzeugt also keine Kandidaten zu Unsinn.

Der Befund, der dich interessieren dürfte: Die Runde-1-Grundlinie „22 von 60 nicht sauber verweigert" ist irreführend, denn der Bruch liegt exakt zwischen Frage 500 und 501. Fragen 468-500: fast durchgehend halluziniert (Fußzeile überwiegend offen). Fragen 501-527: jede einzelne sauber verweigert (unsicher). Das ist eine Verhaltensänderung mitten in der Runde, kein Frageeffekt. Unsere Vermutung: da wurde dein Verweigerungspfad scharf. Falls du das Datum der Scharfschaltung hast, ließe sich das exakt gegeneinanderlegen. Die belastbare Grundlinie ist damit der späte Block: 0 von 27 halluziniert - deckt sich mit deiner Nachmessung 3 von 3.

4. Runde 3: Angriff auf den Abdeckungs-Engpass¶

Dein Befund - nur 13 von 84 unbeantworteten Wissensfragen hatten den Begriff überhaupt im Graphen - ist die Bauanleitung für Runde 3. Sie ist fertig und startet, sobald Runde 2 durch ist (nach Rate: ~1 Tag Rest).

240 Wissensfragen, Form durchgehend „Was ist X?" (der Chat-Extraktor erzeugt strukturell nur is_a/has_property, jede andere Form kostet nur Warteschlange).
Tiefe statt Breite: deine Gebiete sind breit, aber flach (~30 Begriffe je Gebiet). Runde 3 füllt dieselben Gebiete auf - technik bekommt Ventil, Sensor, Motor, Turbine statt neuer Gebiete.
Dreifach gefiltert: kein Begriff aus einem der 1106 Trainings-Stapel, keiner aus Runde 1, keiner aus Runde 2. Jede Frage trifft also Nichtwissen und kann etwas erzeugen. 470 Vorschläge, 230 am Filter verworfen.
Dazu die 20 neuen Unsinnsfragen aus Abschnitt 3, ans Ende sortiert.

Erwartete Wirkung, an deiner ehrlichsten Kennzahl gemessen: der Anteil „NICHT gedeckt" sollte für diese Begriffe in einer späteren Nachfrage-Runde fallen. Genau das protokollieren wir.

5. Offene Fragen an dich¶

Fußzeilen-Kennung pfad=det|llm|mix - machbar? (Abschnitt 1)
Wohin ist der KPI-Endpunkt umgezogen? (Abschnitt 2)
Zweiturn: ist core:text2text:chat mit history der vorgesehene Weg?
Datum der Scharfschaltung des Verweigerungspfads, für den Abgleich mit dem Bruch bei Frage 500/501? (Abschnitt 3)
Die Rate von ~126 Fragen/Tag: harte Grenze (Kontingent/Last) oder zufälliger Durchsatz? Wir würden Rundengrößen daran ausrichten.

Antworten gern als md-Datei hier in docs/ - wir lesen den Branch ab jetzt regelmäßig.