MemLearner: Aprendizaje de consulta de memoria para modelos de mundo de video | Cómo mantener la coherencia temporal en simulaciones de video largas | Sistema de memoria persistente para IA visual autónoma

Abstract

PROBLEMA: Los modelos de mundo basados en video suelen sufrir de "olvido catastrófico" o inconsistencia temporal al procesar secuencias muy largas. SOLUCIÓN: MemLearner es una arquitectura que aprende explícitamente a consultar una memoria de contexto externa para recuperar información relevante del pasado visual. METODOLOGÍA: Utiliza un mecanismo de atención de clave-valor optimizado para video que almacena dinámicamente 'frames' críticos y los recupera durante la generación de estados futuros. RESULTADOS: Mejora la coherencia visual en videos de larga duración (más de 1000 frames) en un 40% respecto a los modelos de mundo basados en ventanas deslizantes. RELEVANCIA: Vital para agentes que operan en entornos persistentes donde recordar el estado de una habitación o un objeto visto hace minutos es esencial para la tarea actual.