Infraestructura unificada para desarrollar, evaluar y desplegar enrutadores de modelos de lenguaje | Como elegir el modelo adecuado para cada consulta y reducir costos de inferencia sin sacrificar calidad | Herramientas para optimizar la relacion costo-calidad-latencia en sistemas multi-modelo en produccion y RAG

Abstract

PROBLEMA: El enrutado de LLM (asignar el modelo adecuado a cada consulta) es una de las vias mas rentables para reducir el costo de inferencia, pero carece de una infraestructura estandar: cada proyecto implementa sus propios pipelines de definicion, entrenamiento, evaluacion y despliegue de routers, lo que impide comparar estrategias y reproducir los resultados reportados. SOLUCION: LLMRouter propone una infraestructura unificada para todo el ciclo de vida del enrutador, desde el desarrollo de estrategias de asignacion hasta la evaluacion frente a lineas de base y el despliegue como servicio, todo bajo una misma API y un conjunto comun de metricas de comparacion. METODOLOGIA: integra modulos para estrategias de routing frecuentes (reglas, clasificadores, similitud de embeddings y seleccion basada en dificultad de consulta), evaluacion con conjuntos de consultas de referencia y despliegue con reconfiguracion; es extensible, agnostica respecto al proveedor y respaldada por documentacion y codigo abierto. RESULTADOS: los autores muestran que el enrutado fino permite alcanzar una calidad practicamente igual a la del mejor modelo mientras se consume solo una fraccion del costo de los modelos de mayor tamaño, con metas de presupuesto configurables y comparaciones replicables entre metodos; la adopcion creciente en la comunidad (con miles de estrellas en el resumen diario) confirma la demanda de esta capa de infraestructura. RELEVANCIA: el enrutamiento es un componente critico de las arquitecturas multi-modelo en produccion (asistentes, RAG y plataformas de agentes), y esta infraestructura lo convierte en un problema evaluable y reproducible, con metricas que se extienden a cache de especializacion, especializacion por dominio y control de presupuesto de inferencia.