Ir al contenido principal
Hugging Face

Añadiendo repelente contra benchmaxxers al Open ASR Leaderboard

Hugging Face ha incorporado datasets privados de alta calidad en inglés para reconocimiento automático del habla (ASR), proporcionados por Appen Inc. y DataoceanAI, al Open ASR Leaderboard. Estos conjuntos cubren habla scriptada y conversacional con diversos acentos como australiano, canadiense, indio, británico y americano, para prevenir el benchmaxxing y ofrecer una medida más fiable del rendimiento real. El WER promedio se mantiene calculado solo sobre datasets públicos por defecto, con opción de incluir los privados mediante un interruptor. Se detallan las características de los nuevos splits y el proceso para añadir y evaluar modelos en el leaderboard. Esto mejora la robustez contra optimizaciones específicas de benchmarks y destaca brechas en condiciones reales como acentos no americanos o habla espontánea.

Open ASR LeaderboardbenchmaxxingAppenDataoceanAIdatasets privadosWERreconocimiento de voz
Leer noticia original
Escríbenos por WhatsApp
Asesor VirtualAsesor Virtual 24h