El chip Jalapeño de OpenAI está construido para inferencia rápida a escala, muestran benchmarks

OpenAI presentó su chip Jalapeño en la conferencia Hot Chips, mostrando resultados de benchmarks que superan al estado del arte actual en tokens por usuario y throughput por kilovatio. El chip, desarrollado junto con Broadcom, está diseñado para minimizar los movimientos de datos y los retrasos de comunicación durante las fases de prefill y comunicación de la inferencia. Se espera su despliegue inicial a finales de 2026 en volúmenes muy pequeños, con una expansión más significativa en 2027.