Comprensión mecánica de por qué el conocimiento memorizado no generaliza en LLMs | Análisis de los circuitos de memorización vs aprendizaje en ajuste fino | Por qué los modelos de lenguaje fallan al aplicar datos de entrenamiento en contextos nuevos

Abstract

PROBLEMA: Durante el ajuste fino (finetuning), los LLMs a menudo memorizan datos específicos del conjunto de entrenamiento pero fallan estrepitosamente al intentar aplicar ese conocimiento en situaciones ligeramente diferentes (falta de generalización). SOLUCIÓN: Este estudio ofrece una comprensión mecánica de este fenómeno, identificando los circuitos neuronales responsables de la memorización frente a los de la generalización. Los autores demuestran que el ajuste fino tiende a fortalecer rutas de 'atajo' que dependen de tokens específicos en lugar de patrones abstractos. METODOLOGÍA: Utilizaron técnicas de 'logit lens' y parches de activación para rastrear el flujo de información en modelos transformadores durante y después del entrenamiento. RESULTADOS: Descubrieron que la memorización está "anclada" a neuronas específicas de las capas intermedias que suprimen la capacidad del modelo para activar circuitos de razonamiento más generales cuando se presentan variaciones del input. RELEVANCIA: Comprender este mecanismo es crucial para diseñar mejores funciones de pérdida y métodos de regularización que fuercen a los modelos a aprender conceptos en lugar de simplemente memorizar ejemplos.