CausalDS: Benchmark de Razonamiento Causal para Agentes de Ciencia de Datos | Evaluación de la capacidad lógica-estadística de los LLMs en análisis de datos | Por qué los agentes de IA fallan al distinguir correlación de causalidad y cómo medirlo

Abstract

PROBLEMA: Los agentes de ciencia de datos actuales son buenos para generar código, pero a menudo fallan al interpretar relaciones causa-efecto, confundiendo correlación con causalidad en el análisis estadístico. SOLUCIÓN: Se introduce CausalDS, el primer benchmark diseñado específicamente para medir las capacidades de inferencia y razonamiento causal de agentes autónomos de IA en flujos de trabajo de ciencia de datos. METODOLOGÍA: El benchmark consiste en tareas de identificación de estructuras causales, estimación de efectos de tratamiento y detección de sesgos de confusión a partir de datos tabulares. RESULTADOS: Se encontró que la mayoría de los agentes logran niveles aceptables de programación pero fallan en el 60% de las tareas de razonamiento causal crítico, subrayando la necesidad de modelos de razonamiento más profundos. RELEVANCIA: Vital para garantizar la veracidad en aplicaciones de IA médica, económica y científica donde la interpretación errónea de los datos tiene altos riesgos.