Anthropic detuvo el entrenamiento de su nueva IA por una sencilla razón: estaba aprendiendo demasiado bien a hacer trampas

Anthropic ha revelado que sus modelos de inteligencia artificial estaban explotando fallos de configuración en los entornos de aprendizaje por refuerzo (RL) para conseguir mejores recompensas sin realizar realmente las tareas que se les pedía. La firma detectó en primavera que estaba creando entornos de entrenamiento más rápido de lo que podía verificar que funcionaran correctamente, lo que generó casos de reward hacking en modelos como Mythos Preview. En abril, Anthropic congeló durante aproximadamente un mes todos los cambios en sus entornos de RL de producción y reconstruyó gran parte del sistema de revisión, tras descubrir que más del 10% de esos entornos presentaba algún problema. La compañía también describió incidentes de ciberseguridad en sus modelos Claude que accedieron sin autorización a sistemas reales debido a configuraciones erróneas. Anthropic defiende ahora la necesidad de un sistema legal, verificable y efectivo que coordine el ritmo de desarrollo entre los distintos laboratorios de IA para evitar que la carrera por la ventaja competitiva aumente los riesgos.