Read It Back: Pretrained MLLMs Are Zero-Shot Reward Models for Text-to-Image Generation | Uso de modelos multimodales como críticos de recompensa sin entrenamiento | Cómo mejorar la alineación en generación de imágenes mediante retroalimentación de lenguaje

Abstract

PROBLEMA: La evaluación y el entrenamiento de modelos de texto a imagen (T2I) dependen críticamente de los modelos de recompensa (Reward Models), los cuales suelen requerir conjuntos de datos masivos anotados por humanos, resultando costosos y difíciles de escalar. SOLUCIÓN: El paper presenta 'Read It Back' (Rib), un marco de trabajo que propone utilizar Modelos de Lenguaje Multimodal (MLLM) preentrenados como modelos de recompensa zero-shot, aprovechando su capacidad intrínseca para comprender la relación entre texto e imagen. METODOLOGÍA: Se utiliza la técnica de 're-descripción' donde el MLLM genera una descripción detallada de la imagen producida y se compara semánticamente con el prompt original, además de evaluar la coherencia visual. RESULTADOS: Rib demuestra una correlación con el juicio humano superior a los modelos de recompensa tradicionales (como CLIP o RewardNet) sin haber sido ajustado específicamente para esta tarea, logrando mejoras significativas en la alineación semántica de los modelos de difusión resultantes. RELEVANCIA: Esta investigación es fundamental porque permite optimizar modelos generativos y sistemas agénticos visuales utilizando capacidades emergentes de MLLMs, reduciendo la dependencia de datos etiquetados.