Un mejor método para identificar modelos de lenguaje grandes sobreconfiados

Investigadores del MIT han introducido un nuevo método para medir la incertidumbre en modelos de lenguaje grandes (LLM), identificando mejor las respuestas confiadas pero incorrectas, como las alucinaciones. Este enfoque estima la incertidumbre epistémica comparando las respuestas de un modelo objetivo con un conjunto de modelos similares de diferentes compañías, midiendo el desacuerdo semántico. Combinado con la medida de autocoherencia (incertidumbre aleatoria), crea una métrica total de incertidumbre que supera a métodos tradicionales en tareas como respuesta a preguntas y razonamiento matemático. Esta técnica reduce costos computacionales y ayuda a usuarios a confiar en predicciones de IA en sectores críticos como salud y finanzas. El trabajo está financiado por el MIT-IBM Watson AI Lab.