AstroBERT Small: Modelos pequeños especializados en un dominio

Este artículo presenta la nueva serie de modelos AstroBERT Small, un modelo pequeño de 22.7M de parámetros con un rendimiento sólido, entrenado en resúmenes de ArXiv categorizados como "astro-ph" y artículos de Wikipedia relacionados con la astronomía. Estos modelos demuestran que la especialización en un dominio estrecho requiere menos parámetros que los modelos generalizados para todos los problemas. El modelo base se ha entrenado utilizando masked language modeling y se ha ajustado para generar incrustaciones vectoriales mediante destilación de embeddings del modelo Qwen3-Embedding-8B. AstroBERT Small Embeddings supera significativamente a modelos de tamaño similar y a algunos más grandes en los resultados de evaluación, siendo eficiente para configuraciones solo con CPU.