Escalamiento de capacidades agénticas mediante Reinforcement Finetuning para espacios de herramientas masivos

Abstract

Este paper aborda el desafío crítico de escalar las capacidades agénticas en LLMs cuando se enfrentan a espacios de herramientas masivos (Large Toolspaces). A diferencia de los enfoques tradicionales que intentan meter todas las definiciones de herramientas en el contexto (lo cual es ineficiente y costoso), los autores proponen un marco de Reinforcement Finetuning (RFT) diseñado para optimizar el uso de herramientas sin inflar el contexto. El método permite que el agente aprenda a seleccionar y utilizar herramientas de manera precisa mediante una estrategia de entrenamiento que penaliza el ruido y premia la ejecución correcta en entornos de prueba complejos. Se demuestra que es posible mantener una alta precisión en la toma de decisiones agénticas incluso cuando el número de herramientas disponibles supera los límites prácticos de la ventana de contexto estándar, mejorando tanto la latencia como el coste operativo de los agentes autónomos.