Entrenando modelos ternarios de bajo bit con Axolotl

El equipo de Axolotl, en colaboración con Younes Belkada del equipo FalconLLM de TII, ha integrado el soporte para entrenar modelos ternarios BitNet en Axolotl, haciendo accesible su entrenamiento a la comunidad. BitNet permite modelos LLM en formato ternario de 1.58 bits, reduciendo el uso de memoria hasta 7 veces respecto a bfloat16. Proporcionan instrucciones detalladas para fine-tunear modelos Falcon-E usando Axolotl y liberan checkpoints prequantizados SFT y DPO. Explican el soporte en el ecosistema como llama.cpp y mlx, y discuten trabajos futuros como RL en BitNet.