Planificación en 8 Tokens: Tokenización Discreta Compacta para Modelos de Mundo Latentes
Abstract
El trabajo presenta una innovación crítica en la arquitectura de Modelos de Mundo (World Models) al proponer un tokenizador discreto extremadamente compacto que reduce la representación de estados complejos a solo 8 tokens. La premisa es que los modelos de mundo actuales sufren de una sobrecarga computacional al predecir futuros latentes con demasiada granularidad. Al comprimir la dinámica del entorno en un espacio discreto mínimo, el modelo permite realizar una planificación (planning) mucho más profunda y rápida en el espacio latente. Los autores demuestran que, a pesar de la compresión agresiva, el modelo retiene la información semántica necesaria para la toma de decisiones en entornos dinámicos y tareas de robótica. Esta técnica es fundamental para sistemas que operan con recursos limitados o que requieren simulaciones de 'futuros posibles' a alta velocidad para evitar colisiones o refinar trayectorias.
