Aprendizaje de guardarraíles de seguridad a nivel de paso con supervisión escalable para agentes LLM | Métodos para equilibrar seguridad y utilidad durante el razonamiento o ejecución de agentes autónomos | Intervención granular y en tiempo real frente a comportamientos dañinos en agentes de IA

Abstract

PROBLEMA: Aunque los guardarraíles de seguridad son esenciales para desplegar agentes LLM, muchos se aplican a nivel de respuesta completa, lo que impide intervenir cuando se produce un comportamiento dañino en un paso intermedio. Además, obtener supervisión de seguridad escalable y equilibrar seguridad con utilidad sigue siendo un desafío abierto. SOLUCIÓN: StepGuard propone aprender guardarraíles a nivel de paso, capaces de detectar y bloquear acciones peligrosas durante el proceso de razonamiento o ejecución del agente. Para ello introduce un esquema de supervisión escalable y una estrategia de balanceo que mantiene la utilidad mientras asegura el comportamiento seguro. METODOLOGÍA: El método genera supervisión de seguridad automática y escalable para los distintos pasos de las trayectorias de los agentes, entrena modelos de guardarraíles por pasos y optimiza con un criterio explícito de equilibrio entre seguridad y utilidad para no penalizar excesivamente acciones inofensivas ni fallar en bloquear las dañinas. RESULTADOS: Las evaluaciones muestran que StepGuard reduce significativamente los comportamientos dañinos en pasos intermedios en comparación con guardarraíles de respuesta completa, manteniendo el rendimiento de la tarea del agente y logrando un mejor balance entre seguridad y utilidad. RELEVANCIA: Es una contribución importante para la seguridad de agentes LLM autónomos en producción, al permitir intervención granular y en tiempo real frente a riesgos emergentes durante trayectorias largas.