Ternäre Gewichte: auf dem Papier ein kleineres Modell, aber wir haben keines zum Laufen gebracht

Ein ternäres Modell speichert jedes Gewicht als -1, 0 oder +1 statt als 16-Bit-Zahl. Theoretisch sinkt damit der Speicherbedarf der Gewichte auf etwa ein Sechzehntel, und das könnte sich für gewöhnliche CPUs eignen. Das ist eine rechnerische Aussage zum Speicherbedarf, kein Messergebnis. Einen Geschwindigkeitsgewinn haben wir nicht überprüft. Offen bleibt, ob sich ein solches Modell weiterhin auf eine gute Leistung trainieren lässt. Wir haben es mit kostenloser Rechenleistung und kleinen Modellen versucht.

Unsere Versuche verfehlten ihre eigenen Ziele. Das ist ein Ergebnis über unsere Konfiguration und unser Budget, kein Beweis, dass ternäre Modelle nicht funktionieren.

Größerer Lauf, 2000 Schritte

Das ternäre Modell erreichte eine Perplexität von 158,21 gegenüber 13,85 beim Vergleichsmodell. Auch die Eingangsprüfung wurde nicht bestanden; der Lauf wurde trotzdem fortgesetzt.

Destillationslauf (Exp8)

Lehrermodell: SmolLM2-360M mit unveränderten Gewichten. Ziel: Perplexität unter 100 bis Schritt 1000. Ergebnis: 352,71. Ziel nicht erreicht.

Niedrigere Perplexität ist besser. Das Diagramm zeigt den Destillationslauf gegen den früheren Lauf ohne sie.

Quelle: exp8_summary.json (Präregistrierungs-SHA-256 0f33380de08a6dc5953eaa5221683a9c7b85532909d13125ae53ed1b32281c6b). Der frühere Lauf hat keinen Wert für Schritt 750. Verglichen wird bei gleicher Schrittzahl, nicht bei gleichen Rechenkosten, das ist also kein fairer Kostenvergleich.

• Kleine Modelle und kurzes Training. Nichts davon sagt etwas über große ternäre Modelle aus.
• Gezeigt werden nur Ergebnisse, die durch aufgezeichnete Evaluierungsausgaben gestützt sind.
• Die Gewichte und Dateien zur Reproduktion sind nicht öffentlich gespeichert. Es wurde nichts veröffentlicht.