Despliegue de modelos de lenguaje de visión de código abierto (VLM) en Jetson

NVIDIA presenta un tutorial para desplegar el modelo Cosmos Reasoning 2B, un Vision-Language Model de código abierto, en dispositivos Jetson como AGX Thor, AGX Orin y Orin Super Nano utilizando el framework vLLM. Se detalla el proceso de descarga del modelo FP8 desde NGC, el lanzamiento de contenedores Docker específicos para cada dispositivo y la optimización de memoria para entornos con restricciones. Además, se explica cómo conectar el servidor vLLM a la interfaz Live VLM WebUI para análisis en tiempo real mediante webcam, ideal para aplicaciones de IA física y robótica en el borde. El tutorial incluye verificaciones, pruebas API y soluciones a problemas comunes como falta de memoria.