Optimización del rendimiento en PyTorch (Parte 3): Atención a todo lo que perfilas

Este es el tercer artículo de la serie "Profiling in PyTorch", donde se analiza cómo perfilar y optimizar operaciones de atención en modelos de PyTorch. Se explora la atención ingenua, la atención con enmascaramiento causal in-place y la atención con producto escalar escalado (SDPA) utilizando diferentes backends como math, efficient, flash y cuDNN. Cada sección detalla el impacto en el rendimiento de CPU y GPU, revelando optimizaciones como la eliminación de copias de memoria innecesarias y el uso de kernels fusionados. Se concluye con la importancia de adivinar y luego verificar los perfiles para identificar cuellos de botella.