Geometría guiada para la integración de difusión en LLMs | Determinación de la capa óptima para modelos de difusión en lenguaje | Cómo mejorar LLMs mediante hibridación geométrica con difusión

Abstract

PROBLEMA: Existe una falta de consenso sobre el punto óptimo de inserción de procesos de difusión dentro de la arquitectura de los Modelos de Lenguaje (LLMs), lo que suele resultar en una integración subóptima que no aprovecha la estructura latente. SOLUCIÓN: El paper propone un método de reemplazo de estados ocultos guiado por geometría para determinar dónde y cómo deben interactuar los modelos de difusión con el flujo autorregresivo del LLM. METODOLOGÍA: Utilizan análisis geométrico de las representaciones vectoriales para identificar puntos de alta densidad informativa donde la difusión puede "inyectar" coherencia global, evaluado en tareas de generación compleja. RESULTADOS: El enfoque mejora la calidad de la generación y la diversidad del lenguaje en comparación con inserciones en capas arbitrarias, manteniendo la eficiencia computacional. RELEVANCIA: Es fundamental para arquitecturas híbridas que buscan combinar la creatividad de la difusión con el razonamiento de los transformers.