¿Qué tokens predice mejor un modelo híbrido?

Un estudio reciente de AllenAI compara el rendimiento de su transformer Olmo 3 y su modelo híbrido Olmo Hybrid para determinar las ventajas específicas de las arquitecturas híbridas. Los resultados muestran que los modelos híbridos superan a los transformers en la predicción de tokens con significado (sustantivos, verbos, adjetivos) y aquellos que requieren seguimiento contextual. Sin embargo, los transformers son superiores en la predicción de tokens que son repeticiones literales del texto anterior, donde la atención es más eficaz. Este análisis token a token revela que la métrica de pérdida general es insuficiente para comparar ambas arquitecturas, sugiriendo la importancia de evaluar habilidades específicas.