Entrenamiento de modelos ternarios de bajo bit con Axolotl

El equipo de Axolotl, en colaboración con Younes Belkada del equipo FalconLLM de TII, ha integrado el entrenamiento de modelos ternarios BitNet (1.58 bits) en su framework Axolotl para hacerlo accesible a la comunidad. Se centran en la serie Falcon-E, liberando modelos experimentales entrenados con SFT y variantes DPO a partir de checkpoints pre-cuantizados. El artículo explica el concepto de BitNet, su soporte en el ecosistema para inferencia en CPU, y proporciona instrucciones detalladas para entrenar y convertir estos modelos a formato ternario usando Axolotl y la librería onebitllms.