Import AI 439: Kernels de IA, entrenamiento descentralizado y representaciones universales

El boletín Import AI 439, escrito por Jack Clark, resume varios avances clave en investigación de inteligencia artificial. Destaca KernelEvolve de Meta (Facebook), un sistema que emplea modelos de lenguaje como GPT, Claude y Llama para automatizar la generación y optimización de kernels en arquitecturas de hardware heterogéneas, reduciendo el tiempo de desarrollo de semanas a horas y logrando mejoras de rendimiento de hasta 17 veces. Se analiza el rápido progreso en entrenamiento descentralizado, con un crecimiento anual de 20 veces en cómputo, aunque aún 1000 veces menor que los runs frontier. PostTrainBench evalúa cómo LLMs frontier pueden entrenar otros modelos, obteniendo mejoras del 20-30% en benchmarks. Finalmente, un estudio del MIT demuestra que modelos científicos convergen hacia representaciones universales de la materia al aumentar escala y rendimiento.