Enseñando a los modelos de IA a decir 'No estoy seguro'

Investigadores del MIT CSAIL han desarrollado la técnica RLCR (Reinforcement Learning with Calibration Rewards), que entrena a los modelos de lenguaje para generar estimaciones de confianza calibradas junto con sus respuestas. Este método reduce el error de calibración hasta en un 90% sin sacrificar la precisión, abordando la sobreconfianza inherente en los modelos de razonamiento actuales. La técnica añade un término de puntuación Brier a la función de recompensa, penalizando respuestas con confianza incorrecta. Los experimentos en múltiples benchmarks muestran mejoras en calibración y utilidad práctica en aplicaciones como medicina y finanzas. El trabajo se presentará en la International Conference on Learning Representations.