Atom2.7m: especialización a nivel de representación para modelos de lenguaje pequeños conscientes de la aritmética

Este artículo explora por qué los modelos de lenguaje pequeños (SLM) a menudo fallan en la aritmética básica y presenta Atom2.7m, un modelo de 2.74M parámetros diseñado con una especialización consciente de la aritmética a nivel de representación. A diferencia de los modelos grandes que luchan con operaciones numéricas despite su tamaño, Atom2.7m demuestra que la clave reside en cómo se representan los números y su estructura interna. El modelo alcanza una precisión del 69.24% en ArithMark2.0, superando a modelos mucho más grandes al exponer directamente la estructura aritmética en su entrada, en lugar de obligar al modelo a inferirla desde el texto plano. Esto sugiere que para tareas estructuradas, las representaciones estructuradas son más efectivas que el mero aumento de escala.