Deriva de seguridad tras el ajuste fino de LLMs | Degradación de guardrails en modelos de IA especializados | Evaluación de riesgos en el despliegue de modelos personalizados en sectores sensibles

Abstract

PROBLEMA: Los modelos de lenguaje base suelen ser seguros, pero se ha observado que al personalizarlos mediante fine-tuning para tareas específicas, pierden sus capacidades de seguridad y rechazo de contenido dañino (safety drift). SOLUCIÓN: Este estudio analiza sistemáticamente por qué ocurre esta degradación y cuantifica el riesgo en dominios críticos como medicina, leyes y ciberseguridad. METODOLOGÍA: Realizan experimentos de fine-tuning sobre diversos modelos (Llama, Mistral) usando datos especializados y miden la porosidad de sus filtros de seguridad post-entrenamiento. RESULTADOS: Encuentran que incluso con conjuntos de datos pequeños y aparentemente inofensivos, la capacidad de cumplimiento de políticas de seguridad puede disminuir hasta en un 40%. RELEVANCIA: Vital para empresas que despliegan modelos personalizados en sectores regulados o sensibles.