Entrenamiento de un LLM de 2B parámetros en una GPU RTX 5090 con un presupuesto de unos 5090 dólares | Receta reproducible de entrenamiento de bajo coste en hardware de consumo para laboratorios pequeños | Cómo democratizar la creación de modelos de lenguaje con recursos limitados

Abstract

PROBLEMA: Entrenar modelos de lenguaje de calidad sigue siendo costoso y reservado a grandes laboratorios; muchos grupos pequeños no disponen de clusters de GPUs ni presupuestos elevados para entrenar o adaptar modelos abiertos, lo que limita la democratización de la investigación en LLMs. SOLUCIÓN: Puro-2B demuestra que es posible entrenar un modelo de lenguaje de 2.000 millones de parámetros, variante de Qwen2-1.5B, utilizando una única GPU RTX 5090 y un presupuesto total de unos 5.090 dólares, haciendo un entrenamiento competitivo accesible a laboratorios pequeños. METODOLOGÍA: El trabajo documenta una receta de entrenamiento de bajo coste sobre hardware de consumo: diseño curricular, técnicas de reducción de coste computacional, manejo eficiente de memoria y optimización del uso de la GPU para maximizar la calidad dentro del presupuesto limitado. RESULTADOS: El modelo resultante alcanza un rendimiento competitivo en tareas de razonamiento y lenguaje general, mostrando que un entrenamiento eficiente y cuidadoso puede acercarse a modelos entrenados con presupuestos mucho mayores. RELEVANCIA: Aporta un caso práctico y reproducible de entrenamiento eficiente que democratiza la creación de LLMs, útil para investigación con recursos limitados, evolución de modelos y despliegue autónomo de pequeños modelos en entornos con restricciones de hardware.