Řízení zahlcení pro AI Ethernet: oprava, která pomáhá v simulaci, a jedno místo, kde stále prohrává

Trénování velkého AI modelu posílá obrovské dávky dat mezi tisíci čipy najednou. Když se síť ucpe, nejpomalejší přenos určuje rychlost celé úlohy. Výrobci síťových zařízení pro to navrhují nové řízení zahlcení. My jsme pracovali ve veřejném simulátoru návrhu Ultra Ethernet (uet-htsim) s již publikovanou metodou MNSCC jako východiskem. S Cisco ani žádným jiným výrobcem nemáme nic společného.

Jednořádková změna zkrátila typický čas dokončení o 3 až 37 procent v pěti simulovaných dopravních scénářích a při incastu mírně prohrála. Je to výsledek ze simulace a novost jsme neověřovali.

Před měřením jsme si zapsali hypotézy a kritéria úspěchu. Náš první nápad - přizpůsobovat, jak moc regulátor vyhlazuje signál zpoždění - selhal ve dvou návrzích. Ani jeden nefungoval při vzoru incast, kdy mnoho odesílatelů zasáhne jednoho příjemce. Zaznamenali jsme to jako negativní výsledek.

Ve třetím kole jsme zkoumali, proč jeden návrh na některém jediném seedu prohrál výrazně. V jednom případě měl nejpomalejší tok zpoždění pod cílem, přesto 72 % jeho paketů bylo označeno jako přetížené. Práh značení (40 KB fronty) leží pod cílovou frontou (asi 100 KB), takže značka říká jen to, že fronta je nad 40 KB. Regulátor pak každou cestu tam a zpět zmenšil své okno asi o 36 %. To tento případ vysvětluje ze záznamů. Není to důkaz pro všechny případy.

Oprava, zmrazená před testováním na nových seedech: zmenšuj okno, jen pokud je i medián zpoždění na cíli nebo nad ním. Nic jiného se nezměnilo.

Zdroj: REPORT3.md, validace na seedech nepoužitých při návrhu. Označení jsou vlastní názvy scénářů simulátoru (ele = scénáře křížového provozu při 16 a 8 cestách, failed8 = s výpadkem linek); jejich úplné definice jsou v původní zprávě. Celkem 20 párových seedů: 5, 5, 3, 3 a 2 na scénář. V těchto scénářích křížového provozu neprohrál ani jeden seed. Platí to jen pro těchto 20 seedů.

Incast (3 seedy)

Průměrné dokončení 2530 oproti 2455 pro adaptivní linii (+3,1 %) s lokálním umístěním a 2507 oproti 2450 (+2,3 %) s rozptýleným umístěním. Maximální dokončení přibližně stejné (+0,3 % a +0,4 %). Jednoduchá metoda NSCC je na incast průměru stále nejlepší (2382 a 2444). Naše zmrazené kritérium bylo plus minus 2 %, takže toto NEPROŠLO.

Nejhorší jediný seed na incastu

+11,8 %, před opravou +18 %.

• Jen simulace: idealizovaný fat-tree se 128 nebo 1024 uzly a 2 až 5 seedy na scénář.
• MNSCC je publikovaná metoda, ne naše. Zda je náš variant nový, je neověřené. Nejbližší publikované nápady, které jsme našli, jsou APSCC a STrack.
• Zbývající ztráta na incastu může pramenit z velikosti zásahů. To je hypotéza ze záznamů.
• Žádný průlom. Bez hardwaru a bez účasti výrobce.