Leyes de escalado prescriptivas para entrenamiento con restricciones de datos | Cómo optimizar modelos de IA cuando los datos son escasos | Análisis de rendimiento de LLMs bajo condiciones de repetición de datos

Abstract

PROBLEMA: Las Scaling Laws tradicionales asumen una abundancia de datos, pero la industria se acerca a un "muro de datos" donde la información de alta calidad se agota, obligando a reentrenar sobre los mismos datos o usar sintéticos. SOLUCIÓN: El estudio formula 'Prescriptive Scaling Laws', un marco matemático que predice el rendimiento del modelo cuando el cómputo sigue creciendo pero los datos son limitados o repetidos. METODOLOGÍA: Realizan experimentos extensivos variando el número de épocas, el tamaño del modelo y la diversidad de los datos para encontrar el punto de saturación y degradación. RESULTADOS: Identifican una frontera de eficiencia donde el aumento de parámetros sigue siendo beneficioso incluso con datos fijos, contradiciendo algunas intuiciones previas sobre el "overfitting" temprano. RELEVANCIA: Es una guía estratégica para laboratorios de IA sobre cómo asignar presupuestos de cómputo en la era de la escasez de datos textuales.