Brecha entre conocimiento y acción en el uso de herramientas por LLMs | Evaluación de la necesidad real de herramientas en agentes de inteligencia artificial | Cómo optimizar la invocación de APIs en sistemas agénticos de IA

Abstract

PROBLEMA: Los LLMs actuales a menudo sufren de un 'abismo entre saber y hacer' (knowing-doing gap), invocando herramientas externas cuando no es necesario o fallando al usarlas en momentos críticos. SOLUCIÓN: Los autores introducen el concepto de 'Necesidad de Herramienta Adaptativa al Modelo', un marco que evalúa si un modelo realmente requiere intervención externa según la complejidad de la tarea y su capacidad interna. METODOLOGÍA: Desarrollaron un benchmark de decisiones donde el modelo debe razonar sobre su propia incertidumbre antes de llamar a una API, analizando la discrepancia entre la capacidad de ejecución y la decisión de uso. RESULTADOS: Demuestran que la mayoría de los modelos sufren de sobre-dependencia o negligencia, y que calibrar esta necesidad mejora drásticamente la tasa de éxito y reduce costes. RELEVANCIA: Vital para el diseño de agentes de IA eficientes y económicos que optimicen el uso de recursos computacionales y llamadas a APIs.