Inyección de Condiciones por Puerta en Transformers de Atención Lineal | Cómo mantener la eficiencia y la controlabilidad en modelos de lenguaje de gran escala | Técnica de inyección de estados externos para optimizar la atención en secuencias largas

Abstract

PROBLEMA: Los transformadores de atención lineal son eficientes pero suelen tener dificultades para integrar condiciones externas (multimodales o de control) comparados con los de atención estándar (softmax), perdiendo capacidad de respuesta a instrucciones precisas. SOLUCIÓN: Proponen un mecanismo de Inyección de Condición por Puerta (Gated Condition Injection) que evita la necesidad de capas de atención cruzada (cross-attention) multimodales costosas, manteniendo la complejidad lineal del modelo. METODOLOGÍA: El método utiliza puertas (gates) aprendidas que modulan los estados internos del transformer lineal basándose en la señal de control externa, permitiendo una integración profunda sin el coste cuadrático de la atención tradicional. RESULTADOS: Logran una controlabilidad comparable a los modelos de atención estándar en tareas de generación condicionada, pero con una velocidad de inferencia hasta 3 veces mayor en secuencias largas. RELEVANCIA: Esencial para el despliegue de modelos de lenguaje y visión en dispositivos de borde o en aplicaciones que requieren contextos extremadamente largos y alta velocidad.