Comprendiendo las estrategias evolutivas para el razonamiento en LLMs: mayor cobertura que GRPO | Por qué los métodos evolutivos exploran rutas de razonamiento más diversas que la RL clásica | Alternativa de optimización a GRPO para entrenar LLMs razonadores sin colapsar la exploración

Abstract

PROBLEMA: los métodos de aprendizaje por refuerzo aplicados al razonamiento de los LLM, como GRPO, mejoran el desempeño agregado en benchmarks pero tienden a concentrar la política en unas pocas rutas de razonamiento, reduciendo la diversidad de solución y la cobertura exploratoria y favoreciendo el sobreajuste a la recompensa. SOLUCIÓN: el artículo estudia las estrategias evolutivas (evolution strategies, ES) como alternativa a la optimización de políticas basada en RL y muestra, según su propio título, que producen una cobertura de razonamiento más amplia que GRPO. METODOLOGÍA: realiza un análisis comparativo y empírico entre ES y GRPO en tareas de razonamiento, examinando la estructura del espacio de soluciones explorado, la diversidad de cadenas de inferencia generadas y el equilibrio entre exploración y explotación durante el entrenamiento. RESULTADOS: las estrategias evolutivas alcanzan una cobertura de razonamiento más amplia que GRPO, lo que sugiere ventajas en exploración y en la variedad de caminos de inferencia que el modelo puede llegar a producir, con implicaciones sobre cuándo conviene cada paradigma. RELEVANCIA: abre una vía de optimización para LLMs razonadores que complementa o sustituye a la RL clásica, con implicaciones directas para entrenamiento, alineación (RLAIF) y reducción del colapso de política; también orienta la elección del método según el objetivo: precisión máxima, diversidad de razonamiento o robustez exploratoria.