Activity Frames: compilación determinista de la actividad de pantalla para memoria y replay de agentes | Cómo almacenar y reproducir sesiones de computer-use de forma exacta, compacta y auditable | Formato de memoria episódica reproducible para entrenar, depurar y auditar agentes de interfaz

Abstract

PROBLEMA: Los agentes que operan interfaces gráficas (computer use) generan flujos masivos de vídeo y logs de acción difíciles de almacenar, comparar y reproducir; sin memoria fiel, no pueden reentrenarse con datos de calidad ni depurarse, y su comportamiento no es auditable de forma determinista. SOLUCIÓN: Activity Frames propone una compilación determinista de la actividad de pantalla: transforma el stream de eventos visuales y acciones en tramas estructuradas y reproducibles (activity frames) que capturan el estado y la acción de forma canónica, sirviendo como memoria de agente y como formato de replay de alta fidelidad. METODOLOGÍA: Define un compilador que convierte capturas de pantalla y eventos de entrada/salida en representaciones deterministas (hashes de estado, eventos normalizados, estructura de sesión) con costo de almacenamiento reducido; se integra con pipelines de agentes de UI y se valida en tareas de navegación y reconstrucción de sesiones, comparando el entrenamiento con datos crudos frente a datos compilados. RESULTADOS: El replay determinista reproduce sesiones con fidelidad exacta usando una fracción del almacenamiento original, y los agentes entrenados sobre activity frames alcanzan mejor rendimiento y trazabilidad que con logs de vídeo crudos. RELEVANCIA: La memoria episódica determinista es fundamental para agentes de largo plazo, auditoría de comportamiento, construcción de datasets de alta calidad y depuración reproducible de sistemas agénticos.