Estudio empírico de la obsolescencia de la memoria espacial en agentes de visión-lenguaje | Cómo la memoria espacial almacenada por agentes VLM se vuelve obsoleta en entornos dinámicos | Fiabilidad y frescura de la memoria espacial de agentes de visión y lenguaje en tareas de navegación y manipulación

Abstract

PROBLEMA: Los agentes de visión-lenguaje (VLM) a menudo dependen de memorias espaciales almacenadas (mapas, posiciones de objetos) que pueden quedar obsoletas cuando el entorno cambia; esta obsolescencia provoca errores de navegación y manipulación, pero se conoce poco sobre su magnitud y condiciones. SOLUCIÓN: El paper presenta un estudio empírico sistemático sobre la staleness (obsolescencia) de la memoria espacial en agentes VLM, caracterizando cuándo y cómo la información almacenada deja de ser fiable y proponiendo directrices para mitigar esos fallos. METODOLOGÍA: Diseña experimentos controlados en entornos simulados donde los objetos y la configuración espacial cambian en distintos grados, midiendo el impacto de la memoria obsoleta en la toma de decisiones de los agentes y comparando distintas estrategias de actualización y re-observación de la memoria. RESULTADOS: La obsolescencia de la memoria degrada significativamente el desempeño, con efectos que dependen del tipo de cambio espacial y de la política de actualización; estrategias de re-muestreo adaptativo y detección de conflicto entre memoria y percepción recuperan gran parte del desempeño perdido. RELEVANCIA: ofrece hallazgos y guías prácticas sobre el diseño de sistemas de memoria para agentes robóticos y VLM, esenciales para la robustez de agentes encarnados y modelos de mundo que operan en entornos cambiantes y dinámicos.