La estrategia detrás del chip Jalapeño de OpenAI para reducir los costes de inferencia

OpenAI ha desarrollado el chip Jalapeño en colaboración con Broadcom para mitigar los altos costes de infraestructura asociados a la ejecución de modelos de lenguaje grandes (LLM) y reducir su dependencia de hardware de terceros como Nvidia. Este chip ASIC, diseñado específicamente para la inferencia de LLM, busca optimizar el rendimiento mediante una reducción del movimiento de datos y la integración de la tecnología de red de Broadcom. Con una inversión masiva de 1,4 billones de dólares en potencia computacional para los próximos ocho años, OpenAI apuesta por una estrategia de integración vertical para abaratar costes, mejorar la eficiencia y acelerar el desarrollo, utilizando incluso sus propios modelos de lenguaje para el diseño del hardware.