La Predicción del Próximo Embedding como Motor de Modelos de Mundo más Fuertes y Eficientes

Abstract

Este estudio investiga cómo la técnica de Predicción del Próximo Embedding (Next Embedding Prediction o NEP) puede fortalecer significativamente la robustez y capacidad de generalización de los Modelos de Mundo. Tradicionalmente, muchos modelos se centran en la predicción de píxeles o tokens discretos, lo cual es computacionalmente costoso y propenso a ruidos superficiales. NEP propone operar directamente en el espacio de representaciones latentes, permitiendo que el modelo capture la estructura semántica y la dinámica de alto nivel del entorno de manera más eficiente. Los resultados indican que el entrenamiento basado en embeddings mejora la estabilidad de las predicciones a largo plazo y permite una mejor transferencia de habilidades en tareas de control y robótica. Es un aporte crucial para el desarrollo de sistemas agénticos que requieren simular escenarios futuros de forma coherente antes de ejecutar acciones en el mundo real.