Claw-Eval: Hacia una evaluación confiable de agentes autónomos | Framework para medir la seguridad y honestidad en sistemas agénticos | Evaluación multidimensional de agentes de IA más allá de la tasa de éxito

Abstract

PROBLEMA: La evaluación de agentes autónomos suele centrarse solo en la tasa de éxito de la tarea, ignorando aspectos críticos como la seguridad, la robustez frente a inputs maliciosos y la honestidad en la comunicación. SOLUCIÓN: Los autores proponen Claw-Eval, un marco de evaluación integral diseñado específicamente para medir la confiabilidad (trustworthiness) de agentes de IA en entornos dinámicos. METODOLOGÍA: El framework utiliza una serie de entornos simulados donde se somete a los agentes a dilemas éticos, ataques adversarios y fallos controlados de herramientas. RESULTADOS: Se revela que muchos agentes con alta tasa de éxito técnico fallan drásticamente en métricas de seguridad y honestidad, lo que subraya la necesidad de evaluaciones multidimensionales. RELEVANCIA: Este trabajo es vital para el despliegue seguro de agentes de IA en entornos corporativos y de producción.