Učení robotů: co čísla ukazují a co ne
Studujeme manipulaci založenou na plánovači s malým podílem učení v simulaci, na úlohách z benchmarkové rodiny KinDER (arXiv:2604.25788). Tato stránka uvádí náš vlastní interní evaluační panel. Není to oficiální výsledek benchmarku.

Metoda
Každá varianta běží 250 epizod: seed prostředí 0 až 249, jedna epizoda na seed. Plánování používá vzorkovací plánovač (RRT), jehož seed je odvozen ze seedu prostředí a čísla kroku. Při nezměněném kódu a stejném seedu je simulace deterministická na seedech, které jsme znovu zkontrolovali. Epizody blízko 95sekundovému stropu závisí na zátěži stroje a mohou se převrátit, a malá změna kódu může převrátit jednotlivé epizody. Přidali jsme strop 95 sekund reálného času na epizodu. Epizody nad stropem se počítají jako selhání, takže při stejném protokolu bez stropu by výsledky byly stejné nebo vyšší. Toto nic neříká o jiných protokolech nebo jiných seedech.
Výsledky
V rodině Cluttered úspěšnost klesá s rostoucím počtem překážek: 249 z 250 epizod s 1 překážkou, 233 z 250 s 10 a 152 z 250 s 25.
Nejtěžší případ, 25 překážek, se zlepšil ze 138 na 152 úspěchů z 250 poté, co jsme politice dovolili zopakovat neúspěšné položení až 5krát místo 2krát. Porovnání je párované na stejných seedech.
Odkud pocházejí zbývající selhání
Z 98 neúspěšných epizod při 25 překážkách bylo 47 neúspěšných úchopů, 26 narazilo na časový strop, 15 nemělo platné místo pro položení a 10 byla nepřesná položení.
Limity
- Pouze simulace. Žádný výsledek na skutečném robotovi.
- Nedá se přímo porovnat s oficiálním benchmarkem: článek používá 5 seedů po 50 epizodách, my používáme 250 různých seedů. Pro rodiny Cluttered, Obstruction a Storage článek nezveřejňuje čísla, takže nemáme oficiální referenci a netvrdíme state of the art.
- Vývoj i evaluace použily stejných 250 seedů prostředí (0 až 249). Vyhrazená sada se nikdy netestovala, takže čísla mohou být pro čerstvé seedy optimistická. Velikost takového efektu jsme neměřili.
- Časový strop je náš přidaný prvek a v rámci tohoto protokolu může hlášenou úspěšnost jen snížit.
- Zda pro každou těžkou scénu s 25 překážkami existuje posloupnost uvolnění, je otevřené. Nemáme důkaz ani tak, ani onak.
Kód, surové výsledky a úplný zápis nejsou veřejně dostupné.

The Labs