FinMCP-Bench: Evaluación de agentes LLM para el uso de herramientas financieras bajo el protocolo MCP | Benchmark de agentes de IA para finanzas en entornos reales | Uso seguro y protocolizado de herramientas externas por agentes financieros de IA

Abstract

PROBLEMA: La integración de agentes de IA en el sector financiero requiere una interacción precisa con herramientas externas, a menudo obstaculizada por la falta de protocolos estándar y benchmarks realistas. SOLUCIÓN: Se introduce FinMCP-Bench, el primer benchmark para evaluar agentes financieros utilizando el Model Context Protocol (MCP) para el uso de herramientas en el mundo real. METODOLOGÍA: Define tareas financieras complejas (análisis de carteras, ejecución de trades, reporting) y evalúa la capacidad del agente para llamar a APIs externas de forma segura y precisa. RESULTADOS: Identifica brechas significativas en la capacidad de los modelos actuales para manejar restricciones financieras estrictas y razonamiento numérico multi-paso. RELEVANCIA: Esencial para la adopción de agentes autónomos en industrias reguladas que dependen de la precisión y el uso de herramientas de terceros.