Auto-mejora recursiva de modelos mediante evolución de arneses de evaluación | Sistema autónomo de Sakana AI para evolución continua de IA | Cómo superar benchmarks humanos mediante optimización recursiva del entrenamiento

Abstract

PROBLEMA: El ciclo de mejora de la IA suele estar limitado por el cuello de botella del diseño humano en los benchmarks y en los arneses de evaluación, que quedan obsoletos a medida que el modelo evoluciona. SOLUCIÓN: Sakana AI propone un sistema donde el modelo no solo mejora sus respuestas, sino que diseña y redefine recursivamente sus propios "arneses" de evaluación y conjuntos de entrenamiento para seguir desafiándose. METODOLOGÍA: Utilizan una arquitectura de bucle cerrado donde un agente meta-optimizador evalúa el rendimiento del modelo actual y propone nuevas tareas más complejas que el modelo original es incapaz de resolver, forzando una evolución continua. RESULTADOS: El sistema demostró una mejora constante en tareas de razonamiento matemático y codificación durante múltiples generaciones, superando los límites de los métodos de auto-juego estáticos. RELEVANCIA: Representa un paso hacia la "Superinteligencia" donde los sistemas de IA pueden escapar de los límites impuestos por los datasets creados por humanos.