¿Qué tokens predice mejor un modelo híbrido?

Un estudio reciente compara Olmo 3 (transformador) y Olmo Hybrid para entender qué tokens predicen mejor los modelos híbridos frente a los transformadores. Los resultados indican que los modelos híbridos, como Olmo Hybrid, son más fuertes en tokens con significado, como nombres, verbos y adjetivos, y en el seguimiento de referencias como pronombres. Sin embargo, los transformadores sobresalen en la repetición exacta de tokens ya presentes en el input. Estas diferencias sugieren que la evaluación del rendimiento no debe depender de una única métrica general.