三値重み:紙の上では小さなモデルだが、まだ動くものを作れていない

三値モデルは各重みを16ビット数の代わりに-1、0、+1で保存する。理論上は重みが約16分の1になり、通常のCPUに適する可能性がある。これはストレージに関する算術であり、実測ではなく、速度向上も検証していない。未解決の問いは、それでも良い性能に学習できるかだ。無料の計算資源と小さなモデルで試した。

我々の試みは自らの目標に届かなかった。これは我々の設定と予算に関する結果であり、三値モデルが機能しない証明ではない。

大きめの実行、2000ステップ

三値のパープレキシティは158.21で、比較モデルは13.85。エントリーチェックにも落ちたが、実行はそのまま続行された。

蒸留実行(Exp8)

教師:凍結したSmolLM2-360M。目標:ステップ1000までにパープレキシティ100未満。結果:352.71。未達。

パープレキシティは低いほど良い。グラフは蒸留実行と蒸留なしの以前の実行を比較している。

出典:exp8_summary.json(事前登録SHA-256 0f33380de08a6dc5953eaa5221683a9c7b85532909d13125ae53ed1b32281c6b)。以前の実行にはステップ750の値がない。同じステップ数での比較であり、同じ計算コストでの比較ではないため、公平なコスト比較ではない。

• 小さなモデルと短い学習。ここでの内容は大規模な三値モデルについて何も言わない。
• 記録された評価出力に裏付けられた結果のみを表示している。
• 重みと再現性ファイルは非公開で保存されている。何も公開されていない。