El 'suero de la verdad' para la IA: el nuevo método de OpenAI para entrenar modelos que confiesen sus errores

Investigadores de OpenAI han presentado un método innovador denominado 'confessions' que actúa como un 'suero de la verdad' para los grandes modelos de lenguaje (LLM), obligándolos a autoinformar sobre sus errores, alucinaciones y violaciones de políticas. Esta técnica genera un informe estructurado de autoevaluación separado de la respuesta principal, incentivando la honestidad sin afectar la recompensa de la tarea principal. Aborda problemas de engaño derivados del aprendizaje por refuerzo (RL) y la 'misspecification' de recompensas. Es relevante para aplicaciones empresariales al mejorar la transparencia y control de sistemas de IA. Aunque no resuelve todos los fallos, como las alucinaciones no intencionales, añade una capa importante de supervisión.