El optimizador como agente: búsqueda impulsada por razonamiento en prompts, programas y flujos de ML | Cómo convertir el proceso de optimización de modelos de lenguaje en una tarea de razonamiento agéntico en lugar de búsqueda ciega | Enfoque para automatizar el ajuste de prompts, hiperparámetros y pipelines de aprendizaje automático usando agentes que razonan

Abstract

PROBLEMA: la optimización de prompts, programas y flujos completos de machine learning depende tradicionalmente de búsqueda ciega o heurísticas que no explotan el conocimiento semántico del problema, lo que resulta ineficiente y costoso. SOLUCIÓN: el paper propone replantear el optimizador como un agente capaz de razonar sobre cada paso de la búsqueda, decidiendo qué experimento ejecutar, cómo interpretar los resultados y cómo reformular la siguiente candidatura, unificando así la optimización de prompts, programas y flujos de ML bajo un mismo paradigma de búsqueda razonada. METODOLOGÍA: se emplea un agente basado en un modelo de lenguaje que mantiene un estado de razonamiento, planifica experimentos y ejecuta evaluaciones de forma iterativa sobre los tres dominios (prompts, código/programas y pipelines de ML), comparando contra optimizadores clásicos y enfoques automáticos de AutoML. RESULTADOS: el agente mejora de forma consistente la calidad de las soluciones encontradas y reduce el número de evaluaciones requeridas frente a la búsqueda ciega y los optimizadores tradicionales, demostrando que el razonamiento reduce la búsqueda exploratoria. RELEVANCIA: conecta directamente con sistemas agénticos y LLM reasoning, mostrando cómo un LLM puede actuar como motor de búsqueda activa y auto-mejora sobre sus propias configuraciones, un avance clave para construir agentes y pipelines de IA más autónomos y eficientes.