Re-ponderación de ventajas consciente de la saturación para optimización de políticas multi-recompensa | Cómo centrar el entrenamiento RL en los objetivos aún no dominados en lugar de los ya saturados | Técnica para mejorar la eficiencia de RLHF y optimización multi-objetivo de modelos de lenguaje

Abstract

PROBLEMA: en la optimización de políticas con múltiples recompensas, muchos métodos dedican el mismo esfuerzo a recompensas ya dominadas o saturadas que a las que el modelo aún no ha aprendido, desperdiciando capacidad de entrenamiento y estancando el progreso en objetivos difíciles. SOLUCIÓN: propone Saturation Aware Advantage Reweighting, un método que repondera la ventaja en la optimización de políticas para priorizar aprender lo que queda por dominar en lugar de lo que ya está dominado. METODOLOGÍA: calcula el grado de saturación de cada recompensa y ajusta dinámicamente la re-ponderación de la ventaja en la pérdida de optimización de políticas, guiando el gradiente hacia los objetivos menos dominados. RESULTADOS: mejora la eficiencia de aprendizaje y el equilibrio entre múltiples objetivos frente a métodos con ponderación uniforme o fija, mostrando un progreso más equilibrado en problemas multi-recompensa. RELEVANCIA: es directamente aplicable a pipelines de RLHF, RL con retroalimentación de IA (RLAIF) y optimización multi-objetivo de LLMs y agentes, donde gestionar varios criterios de calidad simultáneamente es esencial.