Wie Annotation aus Video Trainingsdaten für Roboter macht

Eine Kamera am Kopf einer Fachkraft erzeugt Video, keine Trainingsdaten. Was aus Stunden von Aufnahmen etwas macht, aus dem eine Strategie lernen kann, ist Annotation: die Episodengrenzen, die sagen, wo eine Aufgabe beginnt und endet, die Anweisung, die sagt, was versucht wurde, die Labels, die Werkzeuge und Objekte benennen, und das Urteil, das sagt, ob es funktioniert hat. Jeder große Datensatz, der das Roboterlernen in den letzten fünf Jahren vorangebracht hat, hat in diese Labelschicht mindestens so viel Engineering investiert wie in die Aufnahme selbst, und die zugehörigen Papers sind ungewöhnlich offen darin, wie das geschehen ist.

Dieser Beitrag liest diese Papers auf ihre Annotationspipelines hin statt auf ihre Schlagzeilenergebnisse und ergänzt das wenige an Mathematik, das nötig ist, um zu sehen, warum die Pipelines so gebaut sind, wie sie gebaut sind. Jede nummerierte Zitation verweist auf die Quellen am Ende, die sich zu einer kurzen Zusammenfassung des Papers aufklappen lassen.

Was die Strategie tatsächlich verarbeitet

Warum Annotation zählt, ist am Trainingsziel selbst ablesbar. Eine sprachkonditionierte Strategie $\pi_\theta$ erhält eine Beobachtung $o$, typischerweise ein oder mehrere Kamerabilder zusammen mit dem propriozeptiven Zustand des Roboters, sowie eine Anweisung $\ell$ in natürlicher Sprache, und sie wird per Behaviour Cloning darauf trainiert, die aufgezeichnete Handlung $a$ zu reproduzieren:

$$\min_\theta \mathbb{E}_{(o,\ell,a)\sim D}\Big[-\log \pi_\theta(a \mid o,\ell)\Big]$$

Drei der vier Größen in diesem Ausdruck sind Produkte der Annotation und nicht der Aufnahme. Die Anweisung $\ell$ wird nachträglich von einem Menschen geschrieben, der Datensatz $D$ ist dadurch definiert, wo Episoden geschnitten und welche davon behalten werden, und selbst die Handlung $a$ hängt von einer zeitlichen Ausrichtung zwischen Video und Steuersignal ab, die jemand überprüft hat. RT-1, trainiert auf mehr als 130.000 teleoperierten Episoden zu 744 Anweisungen, aufgenommen von 13 Robotern über 17 Monate, macht die Filterung explizit: Jede Episode endet mit einer binären Belohnung $r \in \{0,1\}$, und nur Episoden mit $r = 1$ gelangen in den Trainingsdatensatz ^[3]Brohan, A. et al. (2022). RT-1: Robotics Transformer for Real-World Control at Scale. Robotics: Science and Systems 2023.. Die Strategie sieht nie die Rohsammlung, sondern nur die annotierte und gefilterte Teilmenge.

Erst erzählen: Wie EPIC-KITCHENS und Ego4D egozentrisches Video labeln

Die Community für egozentrisches Video hat das Labelproblem im großen Maßstab gelöst, bevor die Roboterlern-Community es brauchte, und ihre Pipelines sind die direkten Vorfahren derer, die heute für Manipulationsdaten verwendet werden. EPIC-KITCHENS-100 umfasst 100 Stunden ungeskriptetes Material von Kopfkameras aus 45 Küchen, segmentiert in 89.977 Handlungssegmente ^[2]Damen, D. et al. (2022). Rescaling Egocentric Vision: Collection, Pipeline and Challenges for EPIC-KITCHENS-100. International Journal of Computer Vision.. Die zentrale Idee ist der Pause-and-talk-Narrator: Die Person, die das Video aufgenommen hat, sieht es einmal an, hält die Wiedergabe per Tastendruck an, sobald eine Handlung stattfindet, und spricht eine kurze Beschreibung in ihrer eigenen Sprache, während das Bild eingefroren ist. Verglichen mit dem Erzählen über laufendes Video erhöhte allein das die Zahl der gelabelten Handlungen pro Minute um 54 Prozent und die Zahl der Segmente um 128 Prozent, weil der Erzähler nicht mehr die vorige Handlung beschreiben muss, während er die nächste beobachtet.

Jede gesprochene Erzählung durchläuft anschließend eine Kette von Crowd-Aufgaben. Drei Arbeiter auf Amazon Mechanical Turk transkribieren sie unabhängig voneinander, und eine Transkription wird nur akzeptiert, wenn mindestens zwei übereinstimmen, mit einer automatischen Ablehnung, sobald die Wortvektor-Ähnlichkeit zwischen den Transkriptionen unter 0,9 fällt. Die abgestimmten Beschreibungen werden mit spaCy in Verben und Substantive zerlegt, die manuell zu 97 Verbklassen und 300 Substantivklassen gebündelt werden, und schließlich markieren fünf Arbeiter jeweils Anfangs- und Endzeit des Segments, ausgehend vom Zeitstempel der Erzählung. Die Autoren erhöhten die Zahl der Grenzannotatoren von vier auf fünf gezielt deshalb, weil es die Übereinstimmung messbar verbesserte.

Ego4D wandte dieselbe Philosophie auf 3.670 Stunden Video von 931 Kameraträgern an 74 Orten in 9 Ländern an ^[1]Grauman, K. et al. (2022). Ego4D: Around the World in 3,000 Hours of Egocentric Video. CVPR 2022.. Annotatoren sahen Fünf-Minuten-Clips, schrieben zuerst eine Zusammenfassung von ein bis drei Sätzen, sahen den Clip dann erneut und schrieben pro atomarer Handlung einen Satz mit Zeitstempel in der Form „#C öffnet die Waschmaschine“, wobei #C den Kameraträger bezeichnet. Das Ergebnis waren 3,85 Millionen Sätze mit einer mittleren Dichte von 13,2 pro Videominute, und jedes Video wurde zweimal von unabhängigen Annotatoren erzählt. Diese Erzählungen sind selbst für keinen Benchmark die Ground Truth; sie sind die Vor-Annotation, aus der die Taxonomie entsteht, mit 1.772 rohen Verben und 4.336 rohen Substantiven, die zu 115 Verb- und 478 Substantivklassen gebündelt wurden, und die die Zeitfenster für jedes nachgelagerte Label vorgibt.

Annotation mit Redundanz: drei Arbeiter, Konsens von zweien

Die Redundanz in der Annotation dieser Pipelines ist keine Vorsicht um ihrer selbst willen; sie folgt aus elementarer Wahrscheinlichkeitsrechnung. Liefert ein einzelner Arbeiter mit Wahrscheinlichkeit $q$ eine korrekte Transkription und irren Arbeiter unabhängig voneinander, dann ist die Wahrscheinlichkeit, dass eine Mehrheit von dreien sich auf die richtige Antwort einigt,

$$P_{\text{korrekt}} = q^3 + 3q^2(1-q)$$

Für $q = 0{,}9$ ergibt das $0{,}972$: Drei Arbeiter mit einer Zwei-von-drei-Regel senken die verbleibende Fehlerrate also grob von zehn Prozent auf unter drei Prozent, und die Grenzkosten sind zwei zusätzliche kurze Aufgaben pro Erzählung statt eines zweiten Durchgangs über das gesamte Video. Dieselbe Logik begründet fünf Annotatoren für zeitliche Grenzen, bei denen die abzustimmende Größe stetig statt kategorial ist und die Übereinstimmung über die zeitliche Intersection over Union zweier vorgeschlagener Segmente $A$ und $B$ gemessen wird:

$$\mathrm{tIoU}(A,B) = \frac{|A \cap B|}{|A \cup B|}$$

Eine tIoU nahe eins bedeutet, dass zwei Annotatoren nahezu identische Grenzen gesetzt haben, während Werte unter 0,5 das übliche Signal dafür sind, dass ein Segment eine Schlichtung braucht. Für kategoriale Labels wie Verb- oder Substantivklassen ist die analoge Statistik Cohens Kappa, $\kappa = (p_o - p_e)/(1 - p_e)$, das die rohe Übereinstimmung $p_o$ um die Übereinstimmung $p_e$ korrigiert, die zwei Annotatoren angesichts der Klassenhäufigkeiten zufällig erreichen würden, und das deshalb auch auf Datensätzen ehrlich bleibt, die von wenigen häufigen Handlungen dominiert werden.

Anweisungslabels auf Roboterdaten: Open X-Embodiment und DROID

Datensätze zur Robotermanipulation erben diese Maschinerie, verschieben den Schwerpunkt aber von dichter zeitlicher Segmentierung auf eine Anweisung pro Episode. Open X-Embodiment führte 60 bestehende Datensätze aus 34 Laboren zu mehr als einer Million Trajektorien über 22 Roboterplattformen zusammen, gespeichert im RLDS-Format, damit unterschiedliche Kamerazahlen und Aktionsräume in einer Trainingsmischung koexistieren können ^[4]Open X-Embodiment Collaboration (2023). Open X-Embodiment: Robotic Learning Datasets and RT-X Models. IEEE International Conference on Robotics and Automation 2024.. Die Aufgabentaxonomie wurde nicht von Hand gebaut: Die Autoren nutzten das Sprachmodell PaLM, um Objekte und Verhaltensweisen aus den vorhandenen Anweisungen zu extrahieren, und kamen auf 527 Fähigkeiten und 160.266 verschiedene Aufgaben, die meisten davon aus der Pick-and-place-Familie mit einem Long Tail aus Wischen, Montieren und ähnlichen Handlungen.

DROID zeigt, wie die Annotationsschicht aussieht, wenn sie von Anfang an in die Datensammlung eingeplant ist. Seine 76.000 erfolgreichen Trajektorien, insgesamt 350 Stunden, wurden von 50 Sammlern an 13 Institutionen in 564 Szenen über zwölf Monate aufgenommen, wobei der Sammler vor jeder Episode eine Aufgabenbeschreibung eingab und danach den Erfolg markierte ^[5]Khazatsky, A. et al. (2024). DROID: A Large-Scale In-the-Wild Robot Manipulation Dataset. Robotics: Science and Systems 2024.. Die veröffentlichten Sprachlabels entstanden jedoch in der Nachbearbeitung durch Crowd-Arbeiter, mit bis zu drei unabhängig geschriebenen Anweisungen pro Episode von verschiedenen Arbeitern, um Vielfalt in der Formulierung sicherzustellen.

Zwei Details aus dem DROID-Paper verdienen die Aufmerksamkeit aller, die einen Datensatz planen. Rund 16.000 als nicht erfolgreich markierte Trajektorien wurden separat veröffentlicht statt verworfen, und die Strategien im Paper wurden auf den ersten 40.000 erfolgreichen Trajektorien trainiert, für die Sprachannotationen bereits vorlagen, was bedeutet, dass die Annotation und nicht die Aufnahme der limitierende Schritt war. BridgeData V2 folgt demselben Muster einer Anweisung pro Episode mit 60.096 Trajektorien in 24 Umgebungen ^[6]Walke, H. et al. (2023). BridgeData V2: A Dataset for Robot Learning at Scale. Conference on Robot Learning 2023..

Abdeckung und der Long Tail

Annotation bestimmt auch, wie viel eines Aufgabenraums ein Datensatz nachweislich abdeckt. EPIC-KITCHENS-100 berichtet, dass von seinen 97 Verb-, 300 Substantiv- und 4.053 Handlungsklassen jeweils 86, 228 und 3.729 in den Long Tail der Verteilung fallen, dass also die große Mehrheit der gelabelten Kategorien selten ist ^[2]Damen, D. et al. (2022). Rescaling Egocentric Vision: Collection, Pipeline and Challenges for EPIC-KITCHENS-100. International Journal of Computer Vision.. Der Good-Turing-Schätzer macht aus dieser Beobachtung eine Zahl: Gehören $n_1$ von $N$ gelabelten Instanzen zu einer Klasse, die genau einmal vorkommt, dann beträgt die Wahrscheinlichkeitsmasse der noch nie gesehenen Klassen ungefähr

$$\hat p_{\text{ungesehen}} \approx \frac{n_1}{N}$$

Ein Datensatz mit vielen Einzelfallklassen ist einer, bei dem die nächste aufgenommene Stunde wahrscheinlich noch etwas Neues enthält, und ein Datensatz, in dem die Einzelfälle verschwunden sind, hat sein Sammelprotokoll gesättigt. Keines von beidem lässt sich ohne eine konsistente, von Annotatoren angewandte Taxonomie berechnen, weshalb die Schritte zur Bündelung von Verben und Substantiven in diesen Pipelines genauso viel zählen wie die rohe Transkription.

Was das für Curatrix-Datensätze bedeutet

Die Pipelines oben laufen auf ein Muster hinaus: die Arbeit nah am Moment ihres Geschehens beschreiben, mit Redundanz transkribieren und normalisieren, mit mehreren Annotatoren segmentieren und die Taxonomie explizit halten, damit sich die Abdeckung messen lässt. Curatrix-Veröffentlichungen beruhen auf denselben Prinzipien. Die Annotation jeder Episode umfasst Teilaufgaben, Phasen, Werkzeuge, Objekte und Ergebniszustände, einen Manifesteintrag, der Video, Sensorströme und Metadaten verknüpft, sowie einen Herkunftsnachweis zu Einwilligung, Standortfreigabe und Lizenzumfang; jede Prüfentscheidung kommt mit einer Begründung, und Mitwirkende können eine zweite Prüfung durch eine andere Person verlangen. Das Annotationsschema in unserer Dokumentation beschreibt die Felder im Detail.

Für ein Engineering-Team, das die Annotation eines Datensatzes bewertet, folgen die praktischen Fragen direkt aus den Papers: Wie wurden die Anweisungen erzeugt und von wie vielen Annotatoren, wie wurde die Übereinstimmung der Grenzen gemessen, wie groß ist der Long Tail der Taxonomie, und werden nicht erfolgreiche Episoden mitsamt ihren Labels behalten. Für eine Fachkraft, die mit uns aufnimmt, ist die Folgerung einfacher: Der Wert deiner Aufnahmen entsteht beim Labeln, und die Prüfung nach einem Aufnahmetag ist der Teil des Prozesses, der aus einem Videoarchiv einen Datensatz macht.