Ternárne váhy: na papieri menší model, ale zatiaľ sme žiadny nenaučili fungovať

Ternárny model ukladá každú váhu ako -1, 0 alebo +1 namiesto 16-bitového čísla. Teoreticky to zmenší váhy asi 16-krát a mohlo by to vyhovovať obyčajným CPU. To je aritmetika o ukladaní, nie niečo, čo sme merali, a žiadne zrýchlenie sme neoverili. Otvorená otázka je, či sa stále dá natrénovať na dobrý. Skúsili sme to, s bezplatným výkonom a malými modelmi.

Naše pokusy minuli vlastné ciele. To je výsledok o našej konfigurácii a rozpočte, nie dôkaz, že ternárne modely nefungujú.

Väčší beh, 2000 krokov

Ternárna perplexita 158,21 oproti 13,85 pre porovnávací model. Neprešiel ani vstupnou kontrolou a beh pokračoval ďalej.

Destilačný beh (Exp8)

Učiteľ: zmrazený SmolLM2-360M. Cieľ: perplexita pod 100 do kroku 1000. Výsledok: 352,71. Nesplnené.

Nižšia perplexita je lepšia. Graf ukazuje destilačný beh oproti skoršiemu behu bez nej.

Zdroj: exp8_summary.json (preregistračný SHA-256 0f33380de08a6dc5953eaa5221683a9c7b85532909d13125ae53ed1b32281c6b). Skorší beh nemá hodnotu pre krok 750. Porovnáva sa pri rovnakom počte krokov, nie pri rovnakých výpočtových nákladoch, takže to nie je férové porovnanie nákladov.

• Malé modely a krátke trénovanie. Nič tu nehovorí o veľkých ternárnych modeloch.
• Zobrazujeme len výsledky podložené zaznamenaným výstupom evaluácie.
• Váhy a súbory na reprodukciu sú uložené súkromne. Nič nie je zverejnené.