AstroBERT Small: Modelos pequeños especializados en un dominio

Este artículo presenta la serie AstroBERT Small, nuevos modelos pequeños (22.7M parámetros) entrenados en resúmenes de ArXiv categorizados como "astro-ph" y artículos de Wikipedia relacionados con "astronomía". Estos modelos especializados demuestran un rendimiento comparable a otros modelos mucho más grandes, pero con significativamente menos parámetros. Se lanza AstroBERT Small como modelo de lenguaje base y AstroBERT Small Embeddings para incrustaciones. Se detallan los procesos de entrenamiento y los resultados de evaluación, destacando su eficiencia en configuraciones solo de CPU y su buen rendimiento en tareas específicas.