Un nuevo marco para evaluar agentes de voz (EVA)

ServiceNow ha lanzado EVA, un framework de evaluación de extremo a extremo para agentes de voz conversacionales que mide simultáneamente la precisión en la completación de tareas y la experiencia conversacional. Incluye métricas como completación de tareas, fidelidad del habla, concisión, progresión de la conversación y toma de turnos. Se publica con un dataset inicial de 50 escenarios de aerolíneas y resultados de benchmark de 20 sistemas que revelan un tradeoff consistente entre precisión y experiencia. EVA utiliza una arquitectura bot-to-bot para simular conversaciones reales y destaca fallos comunes como errores en la transcripción de entidades nombradas. El proyecto está disponible en GitHub, con planes para expandir a más dominios y métricas.