VLAA-GUI: Marco modular para la automatización de interfaces gráficas con recuperación de errores | Agentes inteligentes con detección de fallos y búsqueda en entornos de usuario | Automatización fiable de GUI mediante modelos multimodales y lógica de recuperación

Abstract

PROBLEMA: Los agentes de automatización de interfaces gráficas (GUI) suelen ser rígidos y se "bloquean" cuando encuentran errores inesperados o cambios en la interfaz, perdiendo la trazabilidad de la tarea. SOLUCIÓN: VLAA-GUI es un marco modular que dota al agente de tres capacidades críticas: saber cuándo detenerse (Stopping), cómo recuperarse de un fallo (Recovery) y cómo buscar elementos perdidos (Search). METODOLOGÍA: Utiliza una arquitectura basada en modelos de Visión-Lenguaje que procesan capturas de pantalla dinámicas y generan planes de acción que se re-evalúan tras cada clic. RESULTADOS: Supera a los agentes de estado del arte en benchmarks de navegación web y uso de aplicaciones móviles por un margen del 22%, reduciendo drásticamente las acciones redundantes. RELEVANCIA: Impulsa la creación de asistentes digitales mucho más fiables que pueden manejar tareas complejas en sistemas operativos reales sin supervisión constante.