DumpsterCluster: servir LLaMA-70B en GPUs de 60 dólares mediante inferencia distribuida de bajo coste | Cómo desplegar modelos de lenguaje grandes sobre hardware modesto y barato | Sistema para democratizar el despliegue de LLMs de 70B en producción con GPUs reutilizadas de bajo coste

Abstract

PROBLEMA: servir modelos de lenguaje grandes como LLaMA-70B en producción suele requerir múltiples GPUs de alto rendimiento, lo que encarece enormemente el despliegue y lo hace inaccesible para equipos con recursos limitados. SOLUCIÓN: presenta DumpsterCluster, un sistema de inferencia que permite servir un modelo de 70B parámetros sobre GPUs de bajo coste (del orden de 60 dólares) aprovechando hardware modesto o reutilizado en un clúster distribuido. METODOLOGÍA: propone una arquitectura de inferencia distribuida que fragmenta el modelo y gestiona de forma eficiente la memoria y la comunicación entre GPUs de gama baja, combinando técnicas de gestión de memoria y paralelismo. RESULTADOS: logra poner en servicio un LLaMA-70B a un coste reducido (GPU de ~60 dólares), con un rendimiento útil para tareas reales, democratizando el acceso al despliegue de modelos grandes. RELEVANCIA: relevante para inferencia eficiente y despliegue económico de LLMs en producción, un tema crítico para agentes y aplicaciones que necesitan ejecutar modelos grandes a bajo coste.