TRACER: Enrutamiento adaptativo y eficiente para clasificación con LLMs | Cómo reducir costos de inferencia en modelos de lenguaje mediante routing | Sistema de clasificación inteligente para optimizar el uso de modelos de IA

Abstract

PROBLEMA: Utilizar LLMs potentes para tareas de clasificación simples resulta excesivamente costoso y computacionalmente ineficiente. SOLUCIÓN: Se introduce TRACER, un sistema de enrutamiento adaptativo basado en trazas que dirige las consultas al modelo más pequeño capaz de resolverlas con éxito. METODOLOGÍA: El sistema analiza la trayectoria de activación (trazas) y la complejidad de la consulta en tiempo real para decidir si el caso requiere un modelo "frontier" o una versión más ligera. RESULTADOS: TRACER logra reducir los costos operativos en hasta un 60% manteniendo una precisión idéntica en benchmarks de clasificación multiclase. RELEVANCIA: Es una solución práctica para empresas que buscan desplegar sistemas de IA en producción con presupuestos de inferencia controlados.