WorldKV: Memoria Genérica Eficiente mediante Recuperación y Compresión | Gestión de memoria a largo plazo para agentes autónomos | Cómo optimizar el caché KV en tareas de IA con horizontes temporales largos

Abstract

PROBLEMA: Los agentes basados en LLM que operan en entornos de mundo abierto enfrentan desafíos de escalabilidad debido al crecimiento lineal del caché KV en contextos extremadamente largos, lo que degrada la velocidad de inferencia y agota la memoria. SOLUCIÓN: El paper propone WorldKV, un sistema de memoria de mundo diseñado para agentes que integra mecanismos de recuperación y compresión selectiva. Utiliza una jerarquía de memoria que identifica estados críticos del entorno para preservarlos mientras comprime información redundante o transitoria. METODOLOGÍA: Se implementa una arquitectura de recuperación basada en relevancia semántica y una política de descarte de tokens basada en la importancia para la tarea actual, evaluada en simulaciones de larga duración. RESULTADOS: WorldKV logra reducir el uso de memoria en un 80% manteniendo una precisión de éxito en tareas superior al 95% en comparación con modelos de contexto completo. RELEVANCIA: Es fundamental para el despliegue de agentes autónomos que deben recordar eventos pasados en sesiones de interacción de días o semanas.