Añadiendo repelente contra benchmaxxers al Open ASR Leaderboard
Hugging Face ha incorporado datasets privados de alta calidad en inglés para reconocimiento automático del habla (ASR), proporcionados por Appen Inc. y DataoceanAI, al Open ASR Leaderboard. Estos conjuntos cubren habla scriptada y conversacional con diversos acentos como australiano, canadiense, indio, británico y americano, para prevenir el benchmaxxing y ofrecer una medida más fiable del rendimiento real. El WER promedio se mantiene calculado solo sobre datasets públicos por defecto, con opción de incluir los privados mediante un interruptor. Se detallan las características de los nuevos splits y el proceso para añadir y evaluar modelos en el leaderboard. Esto mejora la robustez contra optimizaciones específicas de benchmarks y destaca brechas en condiciones reales como acentos no americanos o habla espontánea.