Ajuste fino de NVIDIA Cosmos Predict 2.5 con LoRA/DoRA para la generación de vídeo de robots

NVIDIA presenta una guía para el ajuste fino de su modelo Cosmos Predict 2.5 utilizando las técnicas LoRA y DoRA. Este ajuste permite que el modelo genere vídeos robotizados realistas, fundamentales para el entrenamiento de políticas de robots, superando el coste y la lentitud de la recolección de datos en entornos reales. El artículo detalla los requisitos, la preparación de datos, el proceso de entrenamiento y la ejecución de inferencias, destacando la mejora en la estabilidad temporal y la coherencia geométrica de los vídeos generados. Se compara el rendimiento de LoRA y DoRA, concluyendo que ambos reducen los errores de Sampson y aumentan la plausibilidad física y la capacidad de seguir instrucciones.