MemSifter: Optimización de Recuperación de Memoria en LLMs mediante Razonamiento Proxy Orientado a Resultados

Abstract

MemSifter propone una técnica de descarga (offloading) de la recuperación de memoria de los modelos de lenguaje a través de un razonamiento 'proxy' guiado por resultados. El sistema identifica qué partes de la memoria a largo plazo son críticas para la tarea actual antes de que el modelo principal las procese, reduciendo la carga computacional y mejorando la precisión en la recuperación de información. Este método es especialmente útil para arquitecturas que requieren manejar contextos masivos o bases de conocimiento externas muy grandes, manteniendo la latencia bajo control mediante un filtrado inteligente e impulsado por el objetivo final de la inferencia.