Ternární váhy: na papíře menší model, ale zatím jsme žádný nenaučili fungovat

Ternární model ukládá každou váhu jako -1, 0 nebo +1 místo 16bitového čísla. Teoreticky to zmenší váhy asi 16krát a mohlo by to vyhovovat obyčejným CPU. To je aritmetika o ukládání, ne něco, co jsme měřili, a žádné zrychlení jsme neověřili. Otevřená otázka je, zda se stále dá natrénovat na dobrý. Zkusili jsme to, s bezplatným výkonem a malými modely.

Naše pokusy minuly vlastní cíle. To je výsledek o naší konfiguraci a rozpočtu, ne důkaz, že ternární modely nefungují.

Větší běh, 2000 kroků

Ternární perplexita 158,21 oproti 13,85 pro srovnávací model. Neprošel ani vstupní kontrolou a běh pokračoval dál.

Destilační běh (Exp8)

Učitel: zmrazený SmolLM2-360M. Cíl: perplexita pod 100 do kroku 1000. Výsledek: 352,71. Nesplněno.

Nižší perplexita je lepší. Graf ukazuje destilační běh oproti dřívějšímu běhu bez ní.

Zdroj: exp8_summary.json (preregistrační SHA-256 0f33380de08a6dc5953eaa5221683a9c7b85532909d13125ae53ed1b32281c6b). Dřívější běh nemá hodnotu pro krok 750. Porovnává se při stejném počtu kroků, ne při stejných výpočetních nákladech, takže to není férové porovnání nákladů.

• Malé modely a krátké trénování. Nic zde neříká o velkých ternárních modelech.
• Zobrazujeme jen výsledky podložené zaznamenaným výstupem evaluace.
• Váhy a soubory pro reprodukci jsou uloženy soukromě. Nic není zveřejněno.