Benchmark de Estética Visual: ¿Pueden los modelos de vanguardia juzgar la belleza?

El Visual Aesthetic Benchmark (VAB) es un nuevo benchmark que evalúa la capacidad de los modelos de IA frontier para realizar juicios estéticos detallados como los expertos humanos. Utiliza comparaciones por pares y en conjuntos en dominios como arte fino, fotografía e ilustración, ancladas en más de 13.000 evaluaciones de expertos. El mejor modelo, Claude Sonnet 4.6, solo alcanza el 26,5%, muy por debajo del 68,9% de los expertos humanos. Los modelos tienen más dificultades con la ilustración, degradan su rendimiento con conjuntos más grandes y son sensibles al orden de las opciones. Se proporcionan leaderboard, datos en Hugging Face y código en GitHub para evaluaciones.