Un mejor método para identificar modelos de lenguaje grandes sobreconfiados

Investigadores del MIT han introducido un nuevo método para medir la incertidumbre epistémica en modelos de lenguaje grandes (LLM), comparando las respuestas de un modelo objetivo con un conjunto de modelos similares. Esta técnica identifica de manera más fiable las respuestas confiadas pero incorrectas, conocidas como alucinaciones. Combinada con la medida de autocoherencia, proporciona una métrica de incertidumbre total superior a los enfoques tradicionales. El método fue evaluado en 10 tareas realistas, superando otras métricas en la detección de predicciones poco fiables. Esta innovación es crucial para aplicaciones de alto riesgo como la sanidad o las finanzas, donde la confianza en las salidas del modelo es esencial.