Aprendizaje robótico: qué muestran los números y qué no

Estudiamos la manipulación basada en planificador con una pequeña parte de aprendizaje en simulación, en tareas de la familia de benchmarks KinDER (arXiv:2604.25788). Esta página reporta nuestro propio panel de evaluación interno. No es un resultado de benchmark oficial.

Método

Cada variante ejecuta 250 episodios: semillas de entorno 0 a 249, un episodio por semilla. La planificación usa un planificador por muestreo (RRT) cuya semilla se deriva de la semilla del entorno y el número de paso. Con código sin cambios y la misma semilla, la simulación es determinista en las semillas que comprobamos. Los episodios cercanos al tope de 95 segundos dependen de la carga de la máquina y pueden cambiar, y un pequeño cambio de código puede cambiar episodios sueltos. Añadimos un tope de 95 segundos de tiempo real por episodio. Los episodios sobre el tope cuentan como fallos, así que con el mismo protocolo sin tope los resultados serían iguales o mayores. Esto no dice nada sobre otros protocolos u otras semillas.

Resultados

En la familia Cluttered, el éxito cae a medida que crece el número de obstáculos: 249 de 250 episodios con 1 obstáculo, 233 de 250 con 10 y 152 de 250 con 25.

El caso más difícil, 25 obstáculos, mejoró de 138 a 152 éxitos de 250 después de permitir que la política reintentara una colocación fallida hasta 5 veces en lugar de 2. La comparación está pareada en las mismas semillas.

De dónde vienen los fallos restantes

De los 98 episodios fallidos con 25 obstáculos, 47 fueron agarres fallidos, 26 alcanzaron el tope de tiempo, 15 no tenían un lugar válido para depositar el objeto y 10 fueron colocaciones imprecisas.

Límites

• Solo simulación. Ningún resultado en robot real.
• No es directamente comparable con el benchmark oficial: el artículo usa 5 semillas con 50 episodios cada una, mientras que nosotros usamos 250 semillas distintas. El artículo no publica cifras para las familias Cluttered, Obstruction y Storage, por lo que no contamos con una referencia oficial ni afirmamos superar los mejores métodos existentes.
• El desarrollo y la evaluación usaron las mismas 250 semillas de entorno (0 a 249). Nunca se probó un conjunto reservado, así que los números pueden ser optimistas para semillas nuevas. No medimos el tamaño de tal efecto.
• El tope de tiempo es nuestro añadido y solo puede reducir el éxito reportado bajo este protocolo.
• Si existe una secuencia de despeje para cada escena difícil de 25 obstáculos es una pregunta abierta. No tenemos prueba en ninguno de los dos sentidos.

El código, los resultados brutos y un informe completo no están disponibles públicamente.