Nemotron 3 Nano 4B: Un modelo híbrido compacto para IA local eficiente

NVIDIA ha lanzado Nemotron 3 Nano 4B, un modelo de lenguaje compacto de 4.000 millones de parámetros basado en arquitectura híbrida Mamba-Transformer, diseñado para despliegues eficientes en dispositivos edge como Jetson y GPUs RTX. Este modelo, prunado y destilado de Nemotron Nano 9B v2 mediante el framework Nemotron Elastic, destaca por su rendimiento state-of-the-art en seguimiento de instrucciones, uso de herramientas, baja latencia y mínimo uso de VRAM. Se ofrece en versiones BF16, FP8 y GGUF para optimizar la inferencia en escenarios locales, promoviendo privacidad de datos y bajos costes. Como modelo open-source, permite personalización y fine-tuning para casos específicos.