El enrutamiento de modelos es simple, hasta que no lo es

La implementación de un enrutador en un agente de IA para optimizar el uso de modelos puede parecer sencilla, pero IBM Research, en colaboración con Hugging Face, ha descubierto que presenta complejidades inesperadas. Los costos no se limitan a los precios por token, sino que dependen de la interacción entre el modelo, la carga de trabajo y la infraestructura de servicio, incluyendo el almacenamiento en caché. La dificultad de las tareas no siempre es evidente al inicio, y los enrutadores deben equilibrar constantemente el costo, la latencia, la especialización del modelo, la fiabilidad y los requisitos de cumplimiento. Además, la latencia real que experimenta el usuario se ve afectada por la sobrecarga del enrutamiento y las condiciones de servicio, no solo por la velocidad intrínseca del modelo. El equipo de IBM Research aborda estas complejidades tratando el enrutamiento como un problema de optimización, no de clasificación, para encontrar el punto de operación óptimo para todo el sistema.