OmniOpt: Taxonomía y Benchmark de Optimizadores Modernos de IA | Comparativa profunda de algoritmos de optimización para redes neuronales | Cómo seleccionar y configurar optimizadores para entrenamiento eficiente de modelos

Abstract

PROBLEMA: Existe una proliferación masiva de algoritmos de optimización (AdamW, Lion, Sophia, etc.) sin una taxonomía clara ni comparativas unificadas que analicen su rendimiento bajo las mismas condiciones. SOLUCIÓN: Se introduce OmniOpt, una referencia exhaustiva que clasifica los optimizadores modernos, analiza su geometría de convergencia y establece un nuevo estándar de benchmarking. METODOLOGÍA: Los autores evalúan decenas de optimizadores en múltiples arquitecturas (Transformers, CNNs) y tareas, utilizando métricas de velocidad de convergencia, estabilidad y generalización. RESULTADOS: El estudio identifica qué familias de optimizadores funcionan mejor para LLMs específicos y revela propiedades geométricas críticas que dictan el éxito del entrenamiento. RELEVANCIA: Es una guía técnica esencial para ingenieros de ML que buscan optimizar los costos y tiempos de entrenamiento de modelos de gran escala.