StateAct: Estado del programa para agentes de uso de computadora | Mejora de planificación en tareas digitales mediante acceso a metadatos de interfaz | Agentes IA de horizonte largo para automatización de software

Abstract

PROBLEMA: Los agentes actuales que utilizan computadoras dependen excesivamente de la percepción visual (píxeles), lo que introduce errores en tareas de horizonte largo debido a la latencia visual y la ambigüedad de la interfaz. SOLUCIÓN: Se introduce StateAct, un paradigma que prioriza el estado del programa (metadatos, estructura de la aplicación) sobre los píxeles para mejorar la robustez y la planificación. METODOLOGÍA: El sistema integra el acceso al árbol de accesibilidad y el estado interno del software antes de procesar la representación visual, permitiendo una toma de decisiones más precisa en secuencias de acciones complejas. RESULTADOS: StateAct supera significativamente a los agentes basados únicamente en visión en benchmarks de automatización de tareas de larga duración, mostrando mayor resiliencia ante cambios en la interfaz. RELEVANCIA: Mejora la eficiencia de los asistentes virtuales y la automatización robótica de procesos (RPA).