Roboterlernen: was die Zahlen zeigen und was nicht

Wir untersuchen die planergestützte Objektmanipulation mit einem kleinen Lernanteil in der Simulation anhand von Aufgaben der KinDER-Benchmark-Familie (arXiv:2604.25788). Diese Seite berichtet über unsere eigene interne Testreihe, nicht über ein offizielles Benchmark-Ergebnis.

Methode

Für jede Variante werden 250 Episoden ausgeführt: Umgebungs-Seeds 0 bis 249, eine Episode pro Seed. Die Planung nutzt einen Sampling-basierten Planer (RRT), dessen Seed aus Umgebungs-Seed und Schrittnummer abgeleitet wird. Bei unverändertem Code und gleichem Seed ist die Simulation deterministisch auf den von uns nachgeprüften Seeds. Episoden nahe der 95-Sekunden-Grenze hängen von der Maschinenlast ab und unterschiedlich ausgehen, und eine kleine Codeänderung kann das Ergebnis einzelner Episoden verändern. Wir haben eine 95-Sekunden-Echtzeitgrenze pro Episode hinzugefügt. Episoden über der Grenze zählen als Fehlschläge, bei gleichem Protokoll ohne Grenze wären die Ergebnisse also gleich oder höher. Das sagt nichts über andere Protokolle oder andere Seeds aus.

Ergebnisse

In der Cluttered-Familie sinkt der Erfolg mit wachsender Hinderniszahl: 249 von 250 Episoden mit 1 Hindernis, 233 von 250 mit 10 und 152 von 250 mit 25.

Im schwierigsten Fall mit 25 Hindernissen stieg die Zahl der Erfolge von 138 auf 152 von 250, nachdem wir dem Steuerungsverfahren erlaubt hatten, eine fehlgeschlagene Platzierung bis zu 5-mal statt 2-mal zu wiederholen. Der Vergleich ist paarweise angelegt und verwendet dieselben Seeds.

Woher die verbleibenden Fehlschläge kommen

Von den 98 fehlgeschlagenen Episoden bei 25 Hindernissen waren 47 fehlgeschlagene Griffe, 26 erreichten die Zeitgrenze, 15 hatten keinen gültigen Ablegeplatz und 10 waren ungenaue Platzierungen.

Grenzen

• Nur Simulation. Kein Ergebnis auf einem echten Roboter.
• Nicht direkt mit dem offiziellen Benchmark vergleichbar: das Paper nutzt 5 Seeds à 50 Episoden, wir nutzen 250 verschiedene Seeds. Für die Familien Cluttered, Obstruction und Storage veröffentlicht das Paper keine Zahlen, wir haben also keine offizielle Referenz und erheben keinen State-of-the-Art-Anspruch.
• Entwicklung und Evaluierung nutzten dieselben 250 Umgebungs-Seeds (0 bis 249). Ein Held-out-Set wurde nie getestet, die Zahlen können für neue Seeds also optimistisch sein. Die Größe eines solchen Effekts haben wir nicht gemessen.
• Die Zeitgrenze ist unsere Ergänzung und kann den berichteten Erfolg unter diesem Protokoll nur senken.
• Ob für jede schwierige Szene mit 25 Hindernissen eine Abfolge zum Freiräumen existiert, bleibt offen. Wir haben weder dafür noch dagegen einen Beweis.

Code, Rohdaten und ein vollständiger Bericht sind nicht öffentlich verfügbar.