AstroBERT Small: Modelos pequeños especializados por dominio

Este artículo presenta la nueva serie de modelos AstroBERT Small, modelos de 22.7M de parámetros entrenados en resúmenes de ArXiv categorizados como `astro-ph` y artículos de Wikipedia relacionados con `astronomía`. Estos modelos pequeños y especializados en un dominio a menudo ofrecen un rendimiento comparable a modelos entre 10 y 100 veces más grandes. Se destaca que la especialización en dominios específicos reduce la necesidad de un gran número de parámetros. Se lanzan dos modelos con licencia Apache 2.0: AstroBERT Small (modelo base de lenguaje) y AstroBERT Small Embeddings (modelo Sentence Transformers para embeddings).