PAWBench: evaluación del alineamiento probabilístico en modelos de mundo | ¿Hasta dónde ha llegado el modelado de mundo probabilísticamente alineado con la realidad? | Benchmark para medir la calibración de incertidumbre en sistemas predictivos de entornos dinámicos

Abstract

PROBLEMA: los modelos de mundo —sistemas que predicen cómo evoluciona un entorno ante acciones o eventos— se evalúan habitualmente por su precisión puntual o por la calidad de sus simulaciones, sin comprobar si sus predicciones son probabilísticamente consistentes con la realidad observada; un modelo que acierta la media pero no calibra su incertidumbre puede inducir decisiones erróneas en planificación. SOLUCIÓN: PAWBench introduce un benchmark específicamente orientado a medir el alineamiento probabilístico de los modelos de mundo, y su propio planteamiento responde a la pregunta de hasta dónde ha llegado el campo en ese objetivo. METODOLOGÍA: el trabajo diseña un conjunto de pruebas estandarizadas para cuantificar en qué grado las distribuciones predichas por los modelos coinciden con las distribuciones observadas en la dinámica del entorno, evaluando calibración, coherencia de la incertidumbre y fidelidad predictiva en distintos escenarios de simulación. RESULTADOS: el benchmark sitúa el estado del arte actual y delimita cuán lejos quedan los modelos existentes del alineamiento probabilístico pleno, ofreciendo una línea base reproducible para futuras comparaciones y para medir el progreso del campo. RELEVANCIA: para LLMs y agentes que planifican sobre entornos dinámicos, disponer de incertidumbre bien calibrada es tan importante como la precisión media; PAWBench aporta un criterio de evaluación unificado que guía el desarrollo de modelos de mundo y su integración en sistemas de decisión, simulación y control predictivo.