ArmBench-ASR: Un benchmark para el reconocimiento automático de voz (ASR) en armenio

ArmBench-ASR es un nuevo benchmark que proporciona una evaluación compartida y estandarizada para el reconocimiento automático de voz (ASR) en armenio. Evalúa casi 30 modelos, tanto de código abierto como cerrados, en cinco conjuntos de datos de voz en armenio, cubriendo diferentes estilos de habla. Los resultados muestran que Gemini 2.5 Pro ocupa el primer lugar en la métrica WER combinada estricta. El benchmark también destaca la dependencia del rendimiento de los modelos al dominio y la dificultad del audio de películas. ArmBench-ASR busca mejorar la representación del armenio en la tecnología del habla y planea futuras ampliaciones.