KnowAct-GUIClaw: Asistente personal de GUI con memoria evolutiva y aprendizaje de habilidades | Agente experto en navegación y acción en interfaces gráficas | Sistema de asistencia autónoma que aprende de la interacción con el usuario

Abstract

PROBLEMA: Los asistentes de GUI actuales suelen olvidar cómo interactuar con aplicaciones después de actualizaciones de software o no aprenden de sus errores previos en una sesión específica. SOLUCIÓN: Presentan KnowAct-GUIClaw, un asistente personal con un sistema de memoria evolutiva y un repositorio de habilidades que se actualiza dinámicamente según el uso. METODOLOGÍA: El sistema combina un modelo de visión de alta precisión para detectar elementos de UI con una capa de razonamiento que extrae 'lecciones' útiles de cada interacción exitosa o fallida. RESULTADOS: Muestra una tasa de éxito del 88% en tareas complejas de varios pasos (como planificación de viajes en múltiples sitios) comparado con el 60% de modelos estáticos convencionales. RELEVANCIA: Representa un avance importante en la creación de agentes de IA prácticos que pueden operar sistemas operativos de manera indistinguible a un humano avanzado.