Von Rohmaterial zu Trainingsepisoden: ein Blick in die Curatrix-Pipeline
Segmentierung, Annotationsschema, Manifeste und Formate. Was passiert zwischen dem Druck auf die Aufnahmetaste und einem versionierten Datensatz im Trainingslauf.
Ein Aufnahmetag vor Ort liefert Stunden kontinuierlichen Videos, das für sich genommen fürs Training nahezu nutzlos ist. Der Wert entsteht danach – in einer Pipeline, die Material in Episoden mit einer Struktur verwandelt, aus der ein Modell lernen kann. Dieser Beitrag geht die Pipeline so durch, wie sie für jede Curatrix-Release läuft.
Segmentierung in Episoden
Das Material wird zunächst in Aufgabenepisoden geschnitten: eine vollständige Ausführung der spezifizierten Aufgabe von einem definierten Start- zu einem definierten Endzustand. Leerlauf, Werkzeugholen und Unterbrechungen werden entfernt oder entsprechend gelabelt. Die Episodengrenzen folgen der mit dem Kunden vereinbarten schriftlichen Aufgabenspezifikation, sodass dieselbe Aufgabe, von zehn Mitwirkenden aufgenommen, vergleichbare Episoden ergibt.
Annotationsschema
Jede Episode wird mit Teilaufgaben und Phasen, den verwendeten Werkzeugen und Objekten sowie Ergebniszuständen wie „verschraubt“, „versetzt“ oder „wiederholt“ annotiert. Das Schema ist je Projekt festgelegt und wird zusammen mit der Release dokumentiert. Annotatoren werden im jeweiligen Gewerk geschult – eine Drehmomentsequenz korrekt zu labeln setzt voraus, zu wissen, was eine Drehmomentsequenz ist.
Manifest und Herkunft
Das Manifest ist der Index der Release. Es verknüpft jede Episode mit ihren Videodateien, Sensorströmen, Annotationsdatensätzen, Mitwirkenden- und Standortfreigaben sowie dem Lizenzumfang. Releases sind unveränderlich und versioniert; eine spätere Release ergänzt Episoden oder Korrekturen, ohne die frühere zu überschreiben – so bleiben Experimente reproduzierbar.
Formate
Video wird als MP4 ausgeliefert, tabellarische Annotationen und Metadaten als Parquet, das Manifest als JSON und synchronisierte Multi-Stream-Aufnahmen als MCAP. Loader für LeRobot und ROS stehen auf der Roadmap. Die Dokumentation beschreibt jedes Format im Detail, und der Datensatzkatalog zeigt, welche Formate eine Release heute enthält.