Ir al contenido principalSaltar al contenido
Hugging Face

Ajuste fino LoRA de LLMs BitNet b1.58 en GPUs heterogéneas de borde mediante QVAC Fabric

QVAC ha anunciado el primer framework multiplataforma para el ajuste fino con LoRA de modelos de lenguaje BitNet b1.58 en GPUs de borde heterogéneas, incluyendo AMD, Apple M3 y móviles como Samsung S25 e iPhone 16. Esta solución reduce drásticamente los requisitos de memoria y cómputo, permitiendo fine-tuning de modelos de hasta 13.000 millones de parámetros en dispositivos cotidianos. Los benchmarks demuestran inferencia hasta 11 veces más rápida en GPUs frente a CPUs y un ahorro de hasta el 77% en VRAM comparado con modelos FP16. El proyecto libera binarios multiplataforma y código abierto para acelerar la innovación en IA eficiente en edge.

Transparencia: Este artículo ha sido generado con asistencia de inteligencia artificial bajo supervisión editorial de SAPIENSDATAAI.

BitNet b1.58LoRAQVAC Fabricajuste finoGPUs heterogéneasedge computingllama.cpp
Leer noticia original
Cookies esenciales

Necesarias para el funcionamiento del sitio. No se pueden desactivar.

Cookies analíticas

Nos permiten medir el tráfico y mejorar el sitio (Google Analytics).

Más info: Política de Cookies