Fehler- und Korrekturdemonstationen sind der knappe und wertvolle Teil eines Datensatzes
Warum nach Ergebnis gelabelte Fehler- und Korrekturepisoden am schwersten zu erheben und am lehrreichsten sind.
Der Standard-Instinkt bei der Dataset-Kuration ist es, die Daten zu bereinigen: Fehlversuche entfernen, Erfolge behalten, das bereinigte Set ausliefern. Dieser Instinkt ist für Manipulationstraining falsch, und die Kosten, ihm zu folgen, sind messbar.
Was eine Fehlerepisode enthält
Eine Fehlerepisode ist keine beschädigte Erfolgsepisode. Sie ist eine Demonstration von etwas anderem: dem Entscheidungsprozess an der Grenze der Kompetenz. Die Elektrikerin, die einen Klemmenblock nicht korrekt einsetzt, zeigt nicht nur ein falsches Ergebnis — sie zeigt den Ansatz, der richtig schien, aber es nicht war, die Prüfroutine, die den Fehler erkannte, und die Korrekturmaßnahme, die den Versuch in einen bestehbaren Zustand zurückführte.
Jedes dieser drei Segmente ist unabhängig wertvoll:
- **Der Fehlansatz** zeigt dem System einen plausiblen falschen Weg. Ein Modell, das nur Erfolgsepisoden gesehen hat, begegnet diesem Weg beim Training nicht — aber im Einsatz wird es ihm begegnen. - **Das verify-Segment** zeigt, dass Prüfverhalten keine separate Aufgabe ist, sondern eine integrale Teilaufgabe mit einem formalen Ergebnis. Ein Modell, das nie eine fehlgeschlagene Prüfung gesehen hat, lernt nicht, dass „Prüfen" ein binäres Ergebnis produziert, das entweder zur Fertigstellung oder zur Korrektur führt. - **Das recover-Segment** ist das seltenste und aufwändigste zu erheben. Es erfordert nicht nur einen Fehler, sondern einen erkannten und innerhalb der Episode korrigierten Fehler — eine Sequenz, die länger zu filmen ist und die Demonstrierende erfordert, die bewusst einen Fehler machen und dann korrigieren.
Die Fehlerform „nur Erfolge erheben"
Wenn ein Datensatz nur Erfolgsepisoden enthält, lernt ein darauf trainierter Roboter den durchschnittlichen Erfolgspfad sehr gut. Er versagt ungrazil, wenn er auf Abweichungen von diesem Pfad trifft, weil er kein Trainingssignal dafür hat, was zu tun ist, wenn die Aufgabe noch nicht erfolgreich war.
Das Problem wird durch den Umstand verschärft, dass reale Einsatzbedingungen von Trainingsbedingungen abweichen: Werkzeugverschleiß, Materialvariation, Lichtvariation, Oberflächenverschmutzung. Ein Modell, das nur saubere Erfolgspfade gesehen hat, trifft beim ersten Einsatzbedingungsabweichler auf den verify-Fehlerstatus — ohne gelernte Antwort darauf.
Die Annotationsanforderung
Fehler- und Korrekturdaten sind nur nützlich, wenn sie korrekt annotiert sind. Eine Fehlerepisode ohne explizite Teilaufgabengrenzen und ein Ergebnislabel ist nicht trainierbar — es ist nur ein Clip, bei dem etwas schiefgelaufen ist. Die Annotation muss angeben:
- Wo der Fehlermodus aufgetaucht ist (welche Teilaufgabe, zu welchem Zeitstempel) - Was das verify-Ergebnis war (reject) - Wo der Korrekturversuch begann und endete - Was das endgültige Ergebnis der Episode war (failure oder recovery)
Das Annotationsschema muss zwischen einer Fehlerepisode (der Versuch erreichte nie eine bestandene Prüfung) und einer recovery-Episode (eine Prüfung schlug fehl, aber eine Korrektur-Teilaufgabe führte den Versuch in einen bestandenen Zustand) unterscheiden. Das sind verschiedene Trainingssignale: Eines lehrt das Modell einen fehlgeschlagenen Pfad, das andere lehrt es, einen Fehler zu korrigieren.
Kosten und Erhebungsrate
Fehler- und Korrekturepisoden können nicht auf Bestellung hergestellt werden. Eine Demonstrierende kann nicht angewiesen werden, „einen Fehler zu machen und ihn dann zu beheben", und davon natürlich aussehendes Manipulationsverhalten zu erwarten. Die Demonstrierende muss auf eine echte Aufgabenschwierigkeit stoßen, sie erkennen und sich davon erholen.
In der Praxis machen Fehler- und Korrekturepisoden bei professionellen Facharbeitsaufgaben je nach Aufgabenschwierigkeit etwa 15–25 % des abgenommenen Filmmaterials aus. Die Episoden, die echte Korrektursequenzen enthalten — bei denen eine fehlgeschlagene Prüfung durch eine substanzielle recover-Teilaufgabe führt — sind noch seltener.
Diese Knappheit macht sie genau deshalb wertvoll. Ein Modell, das aus einem Datensatz mit realistischer Fehler- und Korrekturverteilung gelernt hat, generalisiert besser auf Einsatzbedingungen als eines, das nur den sauberen Pfad gesehen hat. Der Benchmark-Leistungsunterschied zwischen beiden wächst, wenn Einsatzbedingungen von Trainingsbedingungen abweichen.
Die praktische Implikation
Das Annotationsschema muss von Anfang an so gestaltet sein, dass es Fehler- und Korrekturnachweise unterstützt. Sie nachträglich auf einen nur-Erfolg-Datensatz zu übertragen erfordert Neu-Annotation, was teuer ist. Das Erhebungsprotokoll muss auch explizit Fehler- und Korrektursequenzen erlauben und fördern, statt nach jedem Fehlversuch zu einem sauberen Start zurückzusetzen.
Das ist ein Grund, warum professionelle Facharbeitsdemonstationen in kontrollierten Umgebungen pro Episode wertvoller sind als crowdgesourctes Haushaltsvideo in großem Maßstab: Die kontrollierte Umgebung erlaubt der Demonstrierenden, ohne externe Unterbrechung durch die Korrektursequenz weiterzumachen, und der professionelle Kontext produziert Fehler, die realistisch statt konstruiert sind.