Más allá de LoRA: ¿Puedes superar la técnica de ajuste fino más popular?

Este artículo explora las técnicas de ajuste fino eficiente de parámetros (PEFT) más allá de LoRA. Aunque LoRA es la técnica más popular, los autores argumentan que no siempre es la mejor opción. Presentan un benchmarking objetivo de diversas técnicas PEFT, evaluando rendimiento, uso de memoria y otros factores, para ayudar a los usuarios a tomar decisiones informadas. Los resultados sugieren que, si bien LoRA es una buena opción, otras técnicas pueden superarla en ciertas métricas, especialmente en la generación de imágenes. El artículo insta a los usuarios a considerar alternativas a LoRA y a aprovechar la biblioteca PEFT de Hugging Face para experimentar con diferentes configuraciones.