Backend de modelado de transformadores vLLM a velocidad nativa

El backend de transformadores vLLM ahora es tan rápido (o más rápido) que las implementaciones personalizadas de vLLM para muchas arquitecturas de LLM. Esto permite a los autores de modelos aprovechar automáticamente sus implementaciones de transformadores para obtener una inferencia vLLM ultrarrápida de forma gratuita. Este avance integra eficientemente los modelos de Transformers dentro de vLLM, usando técnicas optimizadas como el batching continuo y kernels de atención personalizados. Las actualizaciones dinámicas en tiempo de ejecución, que incluyen fusiones de capas y optimizaciones con `torch.fx`, aseguran que el rendimiento sea comparable al de las implementaciones nativas específicas de vLLM, facilitando el despliegue con una sola bandera sin modificar la configuración de paralelismo existente.