Benchmark de Estética Visual: ¿Pueden los Modelos Frontier Juzgar la Belleza?

El equipo VAB introduce el Visual Aesthetic Benchmark (VAB), un benchmark diseñado para probar si los modelos de IA frontier pueden realizar juicios estéticos finos similares a los de expertos humanos. En lugar de calificaciones escalares, utiliza comparaciones por pares y basadas en conjuntos en dominios como arte fino, fotografía e ilustración, anclado en más de 13.000 evaluaciones de expertos. El mejor modelo, Claude Sonnet 4.6, alcanza solo el 26.5% frente al 68.9% de los expertos humanos. Los modelos luchan especialmente con ilustraciones, su rendimiento empeora con conjuntos más grandes y son sensibles al orden de las opciones. BakeLab proporciona leaderboard, datos en Hugging Face, código en GitHub y una arena interactiva para probar juicios estéticos.