MAEB: Evaluando embeddings de audio a gran escala

Se presenta MAEB (Massive Audio Embedding Benchmark), el primer marco unificado para evaluar embeddings de audio con 98 tareas, más de 100 idiomas y baselines para más de 50 modelos, integrado en el ecosistema MTEB. Ningún modelo domina todas las categorías, revelando debilidades en clustering, tareas multilingües y trade-offs entre propiedades acústicas y lingüísticas. Modelos grandes de audio-lenguaje como LCO-Embedding-Omni-7B lideran el leaderboard general, pero persisten brechas significativas. MAEB demuestra que la calidad de los encoders predice el rendimiento en LLMs de audio. Está disponible en MTEB v2.8 para evaluaciones accesibles y eficientes.