Enseñando a los modelos de IA a decir «No estoy seguro»

Investigadores del MIT CSAIL han desarrollado la técnica RLCR (Reinforcement Learning with Calibration Rewards), que entrena a los modelos de lenguaje para producir estimaciones de confianza calibradas junto con sus respuestas. Este método reduce el error de calibración hasta en un 90 % sin sacrificar la precisión, abordando la causa raíz de la sobreconfianza y las alucinaciones en modelos de razonamiento. RLCR añade un término de puntuación Brier a la función de recompensa, incentivando a los modelos a expresar incertidumbre cuando no están seguros. Los experimentos muestran mejoras en benchmarks variados, y las estimaciones de confianza son útiles en aplicaciones prácticas como finanzas y medicina.