FinMCP-Bench: Evaluación de agentes LLM para el uso de herramientas financieras bajo MCP | Benchmarking de agentes de IA en escenarios financieros reales | Integración de protocolos de contexto en agentes especializados en finanzas

Abstract

PROBLEMA: La integración de agentes de IA en el sector financiero requiere una evaluación rigurosa del uso de herramientas complejas y cumplimiento de protocolos, algo que los benchmarks generales de razonamiento no cubren adecuadamente. SOLUCIÓN: Se presenta FinMCP-Bench, el primer benchmark diseñado para evaluar agentes de IA en el uso de herramientas financieras reales bajo el protocolo MCP (Model Context Protocol) de Anthropic/comunidad. METODOLOGÍA: El benchmark evalúa capacidades como la consulta de datos de mercado en tiempo real, análisis de carteras y ejecución de simulaciones financieras, validando tanto la precisión técnica como la seguridad del agente. RESULTADOS: Se muestran discrepancias significativas entre la capacidad de chat de los modelos y su capacidad para ejecutar llamadas a herramientas financieras precisas, destacando brechas en el razonamiento procedimental. RELEVANCIA: Proporciona el estándar necesario para desarrollar agentes financieros confiables que puedan operar con infraestructuras de datos bancarios y de inversión de manera autónoma.