Un mejor método para identificar modelos de lenguaje grandes sobreconfiados

Investigadores del MIT han desarrollado un nuevo método para medir la incertidumbre en modelos de lenguaje grandes (LLMs) que identifica de forma más fiable las respuestas sobreconfiadas pero incorrectas. Este enfoque compara las respuestas del modelo objetivo con un conjunto de LLMs similares, midiendo el desacuerdo cruzado entre modelos para estimar la incertidumbre epistémica. Combinado con la medida de autocoherencia, esta métrica total de incertidumbre supera a los métodos tradicionales en tareas como respuesta a preguntas, razonamiento matemático y más. Ayuda a detectar alucinaciones y permite a los usuarios saber si confiar en las predicciones del modelo. El método reduce costes computacionales y es especialmente efectivo en tareas con respuestas únicas correctas.