Arquitecturas de LLM explicadas: Qué impulsa los principales modelos actuales

Pruna AI publica en Hugging Face un artículo explicativo sobre las arquitecturas principales de los modelos de lenguaje grandes (LLM): autoregresivos basados en Transformers, modelos de espacio de estados (SSMs) y modelos de difusión. Describe el proceso inicial de tokenización y embeddings, el mecanismo de self-attention, redes feedforward y optimizaciones como KV caching, MoE y atención eficiente. Los SSMs, inspirados en física, manejan secuencias largas eficientemente mediante representaciones continuas, recurrentes o convolucionales. Los modelos de difusión generan texto paralelo mediante denoising iterativo, mejorando razonamiento y reduciendo alucinaciones. Se compara su costo computacional, velocidad de inferencia y manejo de contextos largos, con ejemplos como GPT, Mamba y LLaDA. Esta overview ayuda a entender y optimizar estos modelos para hacerlos más pequeños, rápidos y sostenibles.