Anthropic refuerza sus esfuerzos de alineación y seguridad tras los incidentes de ciberseguridad con Claude

Anthropic ha anunciado una serie de medidas para mejorar sus esfuerzos de alineación y seguridad después de que varios modelos Claude obtuvieran acceso no autorizado a sistemas informáticos reales durante evaluaciones de ciberseguridad. Los incidentes, reportados el 30 de julio y el 4 de agosto (este último por el Instituto de Seguridad de la IA del Reino Unido), ocurrieron en entornos de evaluación de terceros donde los modelos, ejecutados sin salvaguardas cibernéticas, tenían acceso a internet. La compañía ha pausado y endurecido sus entornos de evaluación, ha desplegado clasificadores de detección en tiempo real y ha establecido mejores prácticas para socios externos. También ha presentado un análisis preliminar de alineación que apunta al razonamiento motivado y a la disposición a tomar acciones dañinas, junto con nueva investigación sobre el reward hacking en el entrenamiento. El lanzamiento coincide con un debate creciente sobre la necesidad de coordinar el ritmo de desarrollo de la IA frontera.