Vision as Unified Multimodal Generation | Unificación de percepción y creación visual en modelos multimodales | Cómo integrar visión y lenguaje en un único marco generativo unificado

Abstract

PROBLEMA: Los sistemas actuales suelen tratar la visión (comprensión) y la generación de imágenes/video como tareas separadas, lo que impide una representación semántica compartida y coherente. SOLUCIÓN: El paper propone tratar 'La Visión como Generación Multimodal Unificada', donde tanto la percepción como la creación de contenido visual se formulan bajo un mismo paradigma generativo. METODOLOGÍA: Utilizan una arquitectura unificada que tokeniza entradas visuales y textuales en un espacio latente común, entrenando el modelo para predecir el siguiente token sin importar la modalidad. RESULTADOS: El modelo muestra una capacidad sorprendente para realizar razonamiento visual complejo y generar contenido visual consistente a partir de instrucciones lingüísticas. RELEVANCIA: Representa un paso crítico hacia los modelos de mundo (world models) donde la percepción del entorno está intrínsecamente ligada a la capacidad de simularlo.