Por qué es crucial superar las métricas de aprendizaje automático excesivamente agregadas

Investigadores del MIT han identificado fallos significativos en modelos de aprendizaje automático cuando se aplican a datos distintos de los usados en su entrenamiento, debido a correlaciones espurias que las métricas agregadas ocultan. Demuestran que incluso el mejor modelo promedio puede ser el peor para el 6-75% de nuevos datos en un entorno diferente. Han desarrollado OODSelect, un algoritmo que detecta subpoblaciones donde fallan los modelos de alto rendimiento. Estos hallazgos subrayan la necesidad de pruebas específicas al desplegar modelos en nuevos contextos, como diagnósticos médicos con rayos X, para garantizar su fiabilidad.