AdvancedMathBench: Evaluación integral de generación y verificación de demostraciones matemáticas avanzadas en LLMs | Banco de pruebas para razonamiento lógico-matemático de alto nivel | Cómo medir la capacidad de una IA para realizar matemáticas puras y verificar teoremas complejos

Abstract

PROBLEMA: Los benchmarks matemáticos actuales (como GSM8K) se centran en aritmética o álgebra básica, lo que no permite evaluar el razonamiento profundo necesario para matemáticas de nivel de investigación. SOLUCIÓN: Se presenta AdvancedMathBench, una suite integral de evaluación diseñada específicamente para la generación y verificación de demostraciones matemáticas avanzadas. METODOLOGÍA: El benchmark incluye problemas de cálculo complejo, análisis real, topología y álgebra abstracta, requiriendo que los modelos generen pasos lógicos rigurosos y detecten errores en pruebas existentes. RESULTADOS: Los LLMs de vanguardia muestran dificultades significativas en la generación de pruebas creativas, aunque rinden mejor en la verificación, estableciendo un nuevo estándar de dificultad. RELEVANCIA: Este benchmark impulsa el desarrollo de LLMs orientados a la ciencia y la investigación formal, donde el rigor lógico es más importante que la fluidez del texto.