Pesos ternarios: un modelo más pequeño sobre el papel, pero no hemos logrado que uno funcione

Un modelo ternario almacena cada peso como -1, 0 o +1 en lugar de un número de 16 bits. En teoría, esto reduce el espacio de los pesos a aproximadamente una dieciseisava parte y podría resultar adecuado para CPU convencionales. Es un cálculo sobre almacenamiento, no una medición, y no verificamos ninguna mejora de velocidad. La pregunta sigue abierta: ¿puede entrenarse un modelo así para obtener un buen rendimiento? Lo intentamos con recursos de cálculo gratuitos y modelos pequeños.

Nuestros intentos no alcanzaron sus propios objetivos. Es un resultado sobre nuestra configuración y presupuesto, no una prueba de que los modelos ternarios no funcionen.

Ejecución mayor, 2000 pasos

Perplejidad ternaria de 158,21 frente a 13,85 del modelo de comparación. También falló su control de entrada, y la ejecución continuó de todos modos.

Ejecución con destilación (Exp8)

Modelo profesor: SmolLM2-360M con pesos fijos. Objetivo: perplejidad inferior a 100 en el paso 1000. Resultado: 352,71. Objetivo no alcanzado.

Menor perplejidad es mejor. El gráfico muestra la ejecución con destilación frente a la ejecución anterior sin ella.

Fuente: exp8_summary.json (SHA-256 de prerregistro 0f33380de08a6dc5953eaa5221683a9c7b85532909d13125ae53ed1b32281c6b). La ejecución anterior no tiene valor en el paso 750. Se compara al mismo número de pasos, no al mismo coste de cómputo, así que no es una comparación de costes justa.

• Modelos pequeños y entrenamiento corto. Nada aquí habla de modelos ternarios grandes.
• Solo se muestran resultados respaldados por salida de evaluación registrada.
• Los pesos y los archivos de reproducibilidad están almacenados en privado. Nada se publica.