Keep It InMind: Benchmarking the Implicit-Association Blind Spot in Agent Memory | Evaluando el punto ciego de asociación implícita en la memoria de los agentes IA | Cómo medir y mitigar sesgos en la recuperación de información de agentes con memoria persistente

Abstract

PROBLEMA: Los agentes de IA con memoria persistente a menudo desarrollan 'puntos ciegos' basados en asociaciones implícitas de sus datos de entrenamiento, lo que distorsiona cómo recuperan y usan información nueva. SOLUCIÓN: El paper presenta 'InMind', un benchmark diseñado específicamente para medir el 'Blind Spot' de asociación implícita en la memoria de los agentes. Evalúa si el agente puede integrar información objetiva que contradice sus sesgos previos. METODOLOGÍA: Se crearon escenarios de prueba donde los agentes deben realizar tareas de razonamiento basadas en memorias que desafían estereotipos comunes o asociaciones frecuentes en LLMs. RESULTADOS: Los resultados muestran que incluso los modelos más avanzados fallan en recuperar información neutral cuando choca con sus sesgos de asociación implícita, revelando una debilidad crítica en la fiabilidad de la memoria agéntica. RELEVANCIA: Proporciona una herramienta clave para mejorar la objetividad y veracidad de sistemas RAG y agentes que gestionan conocimiento dinámico a largo plazo.