Kog profundiza para exprimir más inferencia de las GPU

La startup francesa Kog está desarrollando un software para optimizar el rendimiento de las GPU estándar en la inferencia de inteligencia artificial, desafiando la idea de que estos chips no son adecuados para cargas de trabajo agentivas. Su enfoque se centra en exprimir la máxima potencia de las GPU existentes, como las AMD MI300X y Nvidia H200, logrando velocidades de inferencia de hasta 3.000 tokens por segundo en modelos pequeños. Kog busca atender a clientes que requieren inferencia rápida y reducir los cuellos de botella de costes y velocidad, prometiendo una aceleración significativa para modelos de lenguaje grandes.