De Contexto a Habilidades: ¿Pueden los modelos de lenguaje aprender con destreza in-contexto? | Evaluación de la adquisición de capacidades reales en LLMs mediante prompts | Diferencia entre reconocimiento de patrones y aprendizaje de nuevas lógicas en IA

Abstract

PROBLEMA: Existe un debate sobre si los LLMs realmente están adquiriendo nuevas habilidades (skills) durante la inferencia o si simplemente están recuperando patrones pre-entrenados del contexto proporcionado. SOLUCIÓN: El paper investiga los mecanismos de 'Context-to-Skills', analizando bajo qué condiciones un modelo puede generalizar una técnica nueva presentada en el prompt. METODOLOGÍA: Diseñaron una serie de tareas con lenguajes sintéticos y reglas de lógica novedosas para asegurar que no estuvieran en el set de entrenamiento, midiendo la tasa de éxito tras pocos ejemplos. RESULTADOS: Descubrieron que el 'aprendizaje de habilidades' es muy sensible a la estructura del prompt y que la mayoría de los modelos sufren de 'reconocimiento de patrones' más que de verdadera adquisición de habilidades lógicas abstractas. RELEVANCIA: Este estudio es vital para entender las limitaciones del few-shot prompting y cómo diseñar sistemas que realmente aprendan de la interacción con el usuario en tiempo real.