Modelo de lenguaje basado en difusión latente continua | Generación de texto no autorregresiva mediante procesos de difusión | Innovación en arquitecturas de lenguaje fuera de los Transformers tradicionales

Abstract

PROBLEMA: La generación autorregresiva tradicional en LLMs es inherentemente secuencial y limitada por la naturaleza discreta de los tokens, lo que dificulta la exploración de espacios representacionales globales. SOLUCIÓN: Este trabajo introduce el Continuous Latent Diffusion Language Model (CLDLM), un modelo que opera en un espacio latente continuo para generar texto, permitiendo una planificación global de la estructura del mensaje antes de la decodificación. METODOLOGÍA: Utilizan un autoencoder de alta fidelidad para mapear secuencias de texto a un espacio continuo, donde un modelo de difusión aprende a revertir el ruido para generar representaciones semánticas coherentes. RESULTADOS: El modelo logra una calidad de texto competitiva con modelos autorregresivos mientras ofrece mayores capacidades de manipulación semántica y paralelismo en la generación. RELEVANCIA: Representa un cambio de paradigma hacia la generación de lenguaje basada en difusión, lo que podría reducir alucinaciones estructurales y mejorar la coherencia a largo plazo.