Más allá de LoRA: ¿Puedes superar la técnica de ajuste fino más popular?

Este artículo explora las técnicas de ajuste fino eficiente de parámetros (PEFT) más allá de LoRA, la más popular. Hugging Face presenta una biblioteca PEFT unificada y benchmarks objetivos que comparan diversas técnicas en términos de rendimiento, uso de VRAM, olvido, tiempo de ejecución y tamaño del checkpoint. Los resultados muestran que, aunque LoRA es eficaz, otras técnicas como BEFT, Lily y OFT pueden ofrecer mejores compromisos dependiendo de las necesidades específicas del usuario. Se destaca la importancia de evaluar las PEFT más allá de las afirmaciones de los papers y se anima a la comunidad a contribuir a los benchmarks y al desarrollo de la biblioteca PEFT.