¿Qué hace buenos los datos agénticos? El marco ACE para la generación de datos de agentes LLM | Criterios para crear datasets de trayectorias que mejoren las capacidades agénticas | Guía práctica para generar y evaluar datos sintéticos de alta calidad para entrenar agentes con herramientas

Abstract

PROBLEMA: las capacidades agénticas de los LLM —uso de herramientas, planificación multi-paso, interacción con entornos— dependen críticamente de los datos con los que se entrenan, pero la comunidad carece de criterios claros sobre qué propiedades hacen que un dataset agéntico sea realmente eficaz; los pipelines actuales generan estos datos de forma ad hoc, lo que dificulta comparar y mejorar sistemáticamente el entrenamiento de agentes. SOLUCIÓN: el trabajo propone la lente ACE, un marco analítico para caracterizar, evaluar y generar datos agénticos de alta calidad, y lo aplica al diseño de pipelines de generación de datos para agentes LLM. METODOLOGÍA: define dimensiones que descomponen qué hace bueno un dato agéntico y las utiliza para analizar y sintetizar conjuntos de trayectorias de agentes, conectando las propiedades de los datos con el desempeño posterior de los agentes entrenados sobre ellos. RESULTADOS: identifica qué características de los datos correlacionan con mejores capacidades de agente y proporciona directrices accionables para construir datasets de entrenamiento más efectivos, reduciendo la intuición en la producción de datos. RELEVANCIA: es una aportación clave para sistemas agénticos y fine-tuning de LLMs, ya que estandariza la producción de datos sintéticos de trayectorias —el combustible de los agentes modernos— y permite comparar pipelines, diagnosticar fallos de entrenamiento y escalar la generación de datos de forma sistemática.