Entrené mi propio LLM francés desde cero: solo, con una 1080 Ti y se cortó la luz ⚡🇫🇷

Théo Charlet, un estudiante de 20 años, ha entrenado desde cero un modelo de lenguaje (LLM) francés de 15 millones de parámetros utilizando únicamente una GTX 1080 Ti sin equipo ni presupuesto en la nube. Construyó todo el pipeline: crawler para datos, limpieza, tokenizador BPE personalizado optimizado para francés, y arquitectura moderna estilo LLaMA con RoPE, pre-norm RMSNorm, SwiGLU y Flash Attention. El dataset proviene de Wikipedia francesa reescrita por IA para uniformidad estilística, alcanzando 271 millones de tokens siguiendo la ley de Chinchilla. El entrenamiento en tres fases (denoising, curriculum, contrastive) se interrumpió por un corte de luz en la época 10, pero los checkpoints salvaron el progreso. Planea continuar en Lambda Labs con un dataset expandido a 1B tokens de múltiples fuentes para mejorar la diversidad y coherencia.