¿Sabe tu LLM cuándo se va a equivocar? Presentamos un Benchmark de Metacognición y Adaptadores

ginigen-ai presenta un nuevo benchmark, una tabla de clasificación y adaptadores para medir la "metacognición" de los modelos de lenguaje. La metacognición se define como la capacidad de un LLM para detectar y recuperarse de sus propios errores. El proyecto se centra en dos ejes: la vulnerabilidad (cuántas veces cae en trampas) y la ganancia del adaptador (cuánto mejora la detección de errores con un pequeño adaptador). Se lanzan un benchmark de 400 problemas de "trampa", una clasificación de 24 modelos y 11 adaptadores. La conclusión principal es que, incluso los modelos más potentes, son ciegos a sus propios errores en la escritura de forma libre, lo que resalta la importancia de los adaptadores.