Ajuste fino de NVIDIA Cosmos Predict 2.5 con LoRA/DoRA para generación de vídeo de robots

Este artículo explora el ajuste fino de NVIDIA Cosmos Predict 2.5, un gran modelo mundial capaz de generar vídeos físicamente plausibles condicionados por texto, imágenes o clips de vídeo. Se detallan los métodos de ajuste eficiente de parámetros LoRA y DoRA para adaptar el modelo a dominios específicos, como la manipulación de robots. Esto permite generar trayectorias sintéticas para tareas de aprendizaje robótico, superando costosas limitaciones de recolección de datos reales. Se explican los requisitos, la preparación de datos, el proceso de entrenamiento y la evaluación del modelo.