Apprentissage robotique : ce que les chiffres montrent, et ce qu'ils ne montrent pas

Nous étudions la manipulation basée sur un planificateur avec une petite part d'apprentissage en simulation, sur des tâches de la famille de benchmarks KinDER (arXiv:2604.25788). Cette page rapporte notre propre panel d'évaluation interne. Ce n'est pas un résultat de benchmark officiel.

Méthode

Chaque variante exécute 250 épisodes : graines d'environnement 0 à 249, un épisode par graine. La planification utilise un planificateur par échantillonnage (RRT) dont la graine est dérivée de la graine d'environnement et du numéro de pas. Avec un code inchangé et la même graine, la simulation est déterministe sur les graines revérifiées. Les épisodes proches du plafond de 95 secondes dépendent de la charge de la machine et peuvent basculer, et un petit changement de code peut faire basculer des épisodes isolés. Nous avons ajouté un plafond de 95 secondes de temps réel par épisode. Les épisodes au-delà comptent comme échecs : pour le même protocole sans plafond, les résultats seraient égaux ou supérieurs. Cela ne dit rien d'autres protocoles ou d'autres graines.

Résultats

Dans la famille Cluttered, le succès diminue avec le nombre d'obstacles : 249 épisodes sur 250 avec 1 obstacle, 233 sur 250 avec 10 et 152 sur 250 avec 25.

Dans le cas le plus difficile, avec 25 obstacles, le nombre de réussites est passé de 138 à 152 sur 250 après avoir autorisé la stratégie de commande à réessayer un placement raté jusqu'à 5 fois au lieu de 2. La comparaison est appariée : les mêmes graines aléatoires sont utilisées avant et après.

D'où viennent les échecs restants

Sur les 98 épisodes échoués à 25 obstacles, 47 étaient des saisies ratées, 26 ont atteint le plafond de temps, 15 n'avaient pas d'emplacement de dépôt valide et 10 étaient des placements imprécis.

Limites

• Simulation uniquement. Aucun résultat sur robot réel.
• La comparaison directe avec le benchmark officiel n'est pas possible : l'article utilise 5 graines aléatoires pour 50 épisodes chacune, tandis que nous utilisons 250 graines différentes. Pour les familles Cluttered, Obstruction et Storage, l'article ne publie aucun chiffre. Nous n'avons donc aucune référence officielle et ne prétendons pas surpasser les meilleures méthodes existantes.
• Le développement et l'évaluation ont utilisé les mêmes 250 graines d'environnement (0 à 249). Un ensemble de validation n'a jamais été testé : les chiffres peuvent donc être optimistes pour de nouvelles graines. Nous n'avons pas mesuré l'ampleur d'un tel effet.
• Le plafond de temps est notre ajout et ne peut que baisser le succès rapporté sous ce protocole.
• L'existence d'une séquence de dégagement pour chaque scène difficile à 25 obstacles est une question ouverte. Nous n'avons de preuve dans aucun des deux sens.

Le code, les résultats bruts et un compte rendu complet ne sont pas publiquement disponibles.