Por qué construimos VIBE Bench: Repensando la evaluación para cargas de trabajo reales

MiniMax introduce VIBE Bench, un benchmark innovador para evaluar la capacidad completa de los modelos de IA en la creación de aplicaciones ejecutables desde cero hasta el producto final. A diferencia de benchmarks tradicionales como SWE-bench, que se centran en corrección estática de código, VIBE evalúa la ejecución real, interacciones funcionales y presentación visual mediante un agente verificador con visión (Agent-as-a-Verifier). Cubre tecnologías como desarrollo web, simulaciones científicas, Android nativo (Kotlin/Java), iOS nativo (Swift/Objective-C) y backend. Este enfoque mide la experiencia de usuario real, impulsando la transición de modelos desde corrección técnica hacia valor práctico en despliegues reales.