Base Optimization Stack: De pesos abiertos a velocidad de inferencia frontera en dispositivo

Base Compute presenta Base Optimization Stack (B:OS), una solución que automatiza la optimización de modelos de inteligencia artificial de código abierto para lograr una inferencia rápida en hardware específico. La herramienta toma un modelo de código abierto y lo convierte en una versión ajustada de BaseRT, realizando el portado y la optimización del rendimiento mediante agentes de IA. Se demuestra su eficacia con el modelo Nemotron 3 Nano de NVIDIA en dispositivos Apple, superando significativamente a llama.cpp y MLX en velocidad de inferencia.