Modular TTT: repensar el entrenamiento en tiempo de prueba como módulos componibles | Cómo adaptar un modelo en el momento de la inferencia mediante componentes reutilizables y combinables | Técnica de adaptación en tiempo de prueba para mejorar el rendimiento de LLMs sin reentrenar desde cero

Abstract

PROBLEMA: el test-time training (TTT) y la adaptación en el momento de la inferencia suelen tratarse como mecanismos monolíticos, difíciles de reutilizar, depurar y escalar en despliegues reales. SOLUCIÓN: Modular TTT descompone el proceso de adaptación en tiempo de prueba en módulos componibles e intercambiables, cada uno responsable de una función específica de adaptación, que pueden ensamblarse según las necesidades de la tarea y el modelo objetivo. METODOLOGÍA: se define una arquitectura modular de componentes de adaptación con interfaces estandarizadas, se exploran distintas composiciones sobre modelos de lenguaje y otros modelos base y se evalúa cada configuración en escenarios de generalización y distribución shift, comparando contra pipelines monolíticos de TTT. RESULTADOS: el enfoque modular alcanza rendimiento comparable o superior al TTT monolítico con mayor flexibilidad, mejor reutilización entre tareas y menor coste de adaptación por configuración, además de permitir análisis aislado de cada módulo. RELEVANCIA: aporta un marco de ingeniería para adaptación eficiente en inferencia, un área crítica para LLMs y agentes que deben especializarse rápidamente a nuevos dominios sin retraining, alineado con test-time reasoning y modelos de mundo adaptables.