Warum Physical AI Felddaten braucht – und keine Labor-Benchmarks
Roboter, die auf aufgeräumten Labor-Demonstrationen trainiert wurden, scheitern auf echten Baustellen. Ein praxisnaher Blick darauf, was im Feld erfasste Manipulationsdaten bringen und wie man sie bewertet.
Die meisten Manipulationsdatensätze entstehen dort, wo sich bequem aufnehmen lässt: auf einer Werkbank, bei fester Beleuchtung, mit denselben wenigen Objekten in derselben Anordnung. Für einen Benchmark ist das in Ordnung. Als Stellvertreter für eine Elektrikerin, die Kabel durch einen Rohbau zieht, taugt es wenig – dort wechselt das Licht, das Werkstück ist nie rechtwinklig und das nächste Werkzeug liegt dort, wo es zuletzt abgelegt wurde.
Was das Feld hinzufügt
Felddaten liefern drei Dinge, die sich im Labor nicht skalierbar nachstellen lassen. Erstens Varianz, die so korreliert ist wie in der Realität: abgenutzte Werkzeuge, teilweise Verdeckung durch die eigenen Hände, Unordnung, die sich mit dem Arbeitsfortschritt verändert. Zweitens Können. Ein Handwerker mit jahrelanger Erfahrung führt eine Verschraubungssequenz anders aus als eine studentische Hilfskraft mit Skript – der Unterschied zeigt sich in Griffwahl, Kraftdosierung und der Korrektur kleiner Fehler. Drittens Struktur über lange Horizonte: Reale Aufgaben sind Ketten von Teilschritten mit Entscheidungen dazwischen, keine isolierten Pick-and-Place-Episoden.
Der Preis der falschen Verteilung
Policies, die auf engen Daten trainiert wurden, sind im Mittel nicht falsch – sie sind an den Rändern brüchig, und genau an den Rändern findet der Einsatz statt. Teams merken das häufig erst im Piloten, wenn ein Modell, das auf zurückgehaltenen Labor-Episoden gut abschnitt, beim ersten anders positionierten Kabeltrommel-Setup stehen bleibt. Felddaten vorab zu erheben ist billiger, als die Lücke in der Produktion zu entdecken.
Wie man einen Felddatensatz beurteilt
Vier Fragen helfen. Wie viele verschiedene Mitwirkende und Standorte sind vertreten – nicht nur, wie viele Stunden? Ist die Aufgabe in Episoden mit gelabelten Phasen segmentiert, oder handelt es sich um Rohmaterial, das man selbst schneiden muss? Sind die Nutzungsrechte für jeden Clip explizit geklärt, einschließlich der Personen und Orte im Bild? Und lässt sich eine Release später mit demselben Manifest und denselben Annotationen reproduzieren?
Genau um diese Kriterien herum bauen wir Curatrix-Releases. Der Datensatzkatalog weist für jede Release Mitwirkendenzahl, Umgebungen und Lizenzumfang aus, und die Methodik-Seite dokumentiert, wie aus jeder Aufnahme ein versionierter Datensatz wird.