Un método mejorado para identificar modelos de lenguaje grandes sobreconfiados

Investigadores del MIT han desarrollado un nuevo método para medir la incertidumbre en modelos de lenguaje grandes (LLM) que identifica de forma más fiable las respuestas sobreconfiadas pero incorrectas. El enfoque compara las respuestas de un modelo objetivo con las de un grupo de LLM similares, midiendo el desacuerdo cruzado entre modelos para estimar la incertidumbre epistemológica. Combinado con la medida de auto-consistencia del LLM, esta métrica total de incertidumbre supera a los métodos tradicionales en 10 tareas realistas como respuesta a preguntas y razonamiento matemático. Ayuda a detectar alucinaciones y permite a los usuarios saber cuándo confiar en las predicciones del modelo. El método reduce costes computacionales y es especialmente efectivo en tareas con respuestas únicas correctas.