Ajuste fino LoRA de LLMs BitNet b1.58 en GPUs heterogéneas de borde mediante QVAC Fabric
QVAC ha lanzado QVAC Fabric, el primer framework multiplataforma para el ajuste fino LoRA de modelos BitNet b1.58, LLMs de 1 bit, en GPUs heterogéneas de dispositivos de borde como AMD, Apple M3, Adreno, Mali y smartphones. Este avance permite entrenar modelos de hasta 13.000 millones de parámetros en hardware consumer como el Samsung S25 o iPhone 16, reduciendo drásticamente los requisitos de memoria y cómputo. BitNet consume hasta un 77,8 % menos VRAM que modelos FP16 equivalentes y ofrece inferencia en GPU hasta 11,3 veces más rápida que en CPU. Se han liberado binarios multiplataforma, adaptadores de modelos ajustados y código fuente open source para fomentar la innovación en LLMs eficientes.
Transparencia: Este artículo ha sido generado con asistencia de inteligencia artificial bajo supervisión editorial de SAPIENSDATAAI.