Más allá de LoRA: ¿Puedes superar la técnica de ajuste fino más popular?

Este artículo explora las técnicas de ajuste fino eficiente de parámetros (PEFT) más allá de LoRA. Aunque LoRA es la técnica más popular debido a su efectividad temprana y su amplio soporte, los autores argumentan que no siempre es la mejor opción. Presentan un benchmarking objetivo de diversas técnicas PEFT utilizando la librería PEFT de Hugging Face, evaluando el rendimiento y el uso de memoria en tareas de LLM y generación de imágenes. Los resultados demuestran que otras técnicas PEFT pueden superar a LoRA en ciertas métricas, sugiriendo la importancia de considerar más allá de LoRA para optimizar el ajuste fino de modelos.