Entrenamiento de un modelo de lenguaje de 2B en una RTX 5090 con presupuesto inferior a 5.090 dólares | Cómo pre-entrenar y ajustar un LLM competitivo partiendo de Qwen2-1.5B en hardware de consumo | Receta práctica y reproducible de entrenamiento eficiente para laboratorios con recursos limitados

Abstract

PROBLEMA: entrenar modelos de lenguaje se considera un privilegio de grandes laboratorios por el coste de hardware y cómputo; las recetas publicadas asumen clústeres multi-GPU y presupuestos inalcanzables para laboratorios pequeños, universidades o desarrolladores independientes, lo que concentra la investigación en pocas manos. SOLUCIÓN: Puro-2B presenta una receta completa y reproducible para entrenar un LLM de aproximadamente 2.000 millones de parámetros partiendo de Qwen2-1.5B en una única GPU RTX 5090 con un presupuesto total inferior a los 5.090 dólares, demostrando que el entrenamiento útil con pre-entrenamiento continuado es posible en hardware de consumo. METODOLOGÍA: pipeline de entrenamiento de extremo a extremo que combina pre-entrenamiento continuado con curado y selección de datos, fine-tuning supervisado y técnicas de eficiencia de memoria —cuantización, gradient checkpointing y offload— para encajar en la VRAM limitada de una GPU de consumo, junto con una estrategia de escalado de cómputo y datos ajustada al presupuesto y una evaluación sistemática de la calidad final. RESULTADOS: el modelo resultante alcanza un rendimiento competitivo en tareas de razonamiento, QA y seguimiento de instrucciones frente a modelos abiertos del mismo rango de parámetros, con un coste de hardware drásticamente inferior al de las recetas convencionales; el análisis identifica qué componentes del pipeline aportan mayor ganancia por dólar invertido. RELEVANCIA: democratiza el entrenamiento de LLMs y valida técnicas de optimización de recursos directamente transferibles a fine-tuning eficiente, adaptación de agentes y escenarios con memoria limitada.