The LabsUčenie robotov: čo čísla ukazujú a čo nie
Študujeme manipuláciu založenú na plánovači s malým podielom učenia v simulácii, na úlohách z benchmarkovej rodiny KinDER (arXiv:2604.25788). Táto stránka uvádza náš vlastný interný evaluačný panel. Nie je to oficiálny výsledok benchmarku.
Metóda
Každá varianta beží 250 epizód: seed prostredia 0 až 249, jedna epizóda na seed. Plánovanie používa vzorkovací plánovač (RRT), ktorého seed je odvodený zo seedu prostredia a čísla kroku. Pri nezmenenom kóde a rovnakom seede je simulácia deterministická na seedoch, ktoré sme znovu skontrolovali. Epizódy blízko 95-sekundového stropu závisia od záťaže stroja a môžu sa prevrátiť, a malá zmena kódu môže prevrátiť jednotlivé epizódy. Pridali sme strop 95 sekúnd reálneho času na epizódu. Epizódy nad stropom sa počítajú ako zlyhania, takže pri rovnakom protokole bez stropu by výsledky boli rovnaké alebo vyššie. Toto nič nehovorí o iných protokoloch alebo iných seedoch.
Výsledky
V rodine Cluttered úspešnosť klesá s rastúcim počtom prekážok: 249 z 250 epizód s 1 prekážkou, 233 z 250 s 10 a 152 z 250 s 25.
Najťažší prípad, 25 prekážok, sa zlepšil zo 138 na 152 úspechov z 250 potom, čo sme politike dovolili zopakovať neúspešné položenie až 5-krát namiesto 2-krát. Porovnanie je párované na rovnakých seedoch.
Odkiaľ pochádzajú zvyšné zlyhania
Z 98 neúspešných epizód pri 25 prekážkach bolo 47 neúspešných úchopov, 26 narazilo na časový strop, 15 nemalo platné miesto na položenie a 10 boli nepresné položenia.
Limity
- Iba simulácia. Žiadny výsledok na skutočnom robotovi.
- Nedá sa priamo porovnať s oficiálnym benchmarkom: článok používa 5 seedov po 50 epizód, my používame 250 rôznych seedov. Pre rodiny Cluttered, Obstruction a Storage článok nezverejňuje čísla, takže nemáme oficiálnu referenciu a netvrdíme state of the art.
- Vývoj aj evaluácia použili rovnakých 250 seedov prostredia (0 až 249). Vyhradená sada sa nikdy netestovala, takže čísla môžu byť pre čerstvé seedy optimistické. Veľkosť takéhoto efektu sme nemerali.
- Časový strop je náš pridaný prvok a v rámci tohto protokolu môže hlásenú úspešnosť len znížiť.
- Či pre každú ťažkú scénu s 25 prekážkami existuje postupnosť uvoľnenia, je otvorené. Nemáme dôkaz ani tak, ani onak.
Kód, surové výsledky a úplný zápis nie sú verejne dostupné.