Riadenie zahltenia pre AI Ethernet: oprava, ktorá pomáha v simulácii, a jedno miesto, kde stále prehráva

Trénovanie veľkého AI modelu posiela obrovské dávky dát medzi tisíckami čipov naraz. Keď sa sieť upchá, najpomalší prenos určuje rýchlosť celej úlohy. Výrobcovia sieťových zariadení pre to navrhujú nové riadenie zahltenia. My sme pracovali vo verejnom simulátore návrhu Ultra Ethernet (uet-htsim) s už publikovanou metódou MNSCC ako východiskom. S Cisco ani žiadnym iným výrobcom nemáme nič spoločné.

Jednoriadková zmena skrátila typický čas dokončenia o 3 až 37 percent v piatich simulovaných dopravných scenároch a pri incaste mierne prehrala. Je to výsledok zo simulácie a novosť sme neoverovali.

Pred meraním sme si zapísali hypotézy a kritériá úspechu. Náš prvý nápad - prispôsobovať, ako veľmi regulátor vyhladzuje signál oneskorenia - zlyhal v dvoch návrhoch. Ani jeden nefungoval pri vzore incast, keď mnoho odosielateľov zasiahne jedného príjemcu. Zaznamenali sme to ako negatívny výsledok.

V treťom kole sme skúmali, prečo jeden návrh na niektorom jedinom seede prehral výrazne. V jednom prípade mal najpomalší tok oneskorenie pod cieľom, no 72 % jeho paketov bolo označených ako preťažené. Prah označovania (40 KB frontu) leží pod cieľovým frontom (asi 100 KB), takže značka hovorí len to, že front je nad 40 KB. Regulátor potom každý cyklus odoslania a prijatia zmenšil svoje okno asi o 36 %. To tento prípad vysvetľuje zo záznamov. Nie je to dôkaz pre všetky prípady.

Oprava, zmrazená pred testovaním na nových seedoch: zmeňšuj okno, len ak je aj medián oneskorenia na cieli alebo nad ním. Nič iné sa nezmenilo.

Zdroj: REPORT3.md, validácia na seedoch nepoužitých pri návrhu. Označenia sú vlastné názvy scenárov simulátora (ele = scenáre krížovej premávky pri 16 a 8 cestách, failed8 = s výpadkom liniek); ich úplné definície sú v pôvodnej správe. Spolu 20 párových seedov: 5, 5, 3, 3 a 2 na scenár. V týchto scenároch krížovej premávky neprehral ani jeden seed. Platí to len pre týchto 20 seedov.

Incast (3 seedy)

Priemerné dokončenie 2530 oproti 2455 pre adaptívnu líniu (+3,1 %) s lokálnym umiestnením a 2507 oproti 2450 (+2,3 %) s rozptýleným umiestnením. Maximálne dokončenie približne rovnaké (+0,3 % a +0,4 %). Jednoduchá metóda NSCC je na incast priemere stále najlepšia (2382 a 2444). Naše zmrazené kritérium bolo plus mínus 2 %, takže toto NEPREŠLO.

Najhorší jediný seed na incaste

+11,8 %, pred opravou +18 %.

• Len simulácia: idealizovaný fat-tree so 128 alebo 1024 uzlami a 2 až 5 seedmi na scenár.
• MNSCC je publikovaná metóda, nie naša. Či je náš variant nový, je neoverené. Najbližšie publikované nápady, ktoré sme našli, sú APSCC a STrack.
• Zvyšná strata na incaste môže prameniť z veľkosti zásahov. To je hypotéza zo záznamov.
• Žiadny prielom. Bez hardvéru a bez účasti výrobcu.