OpenAI publica gpt-oss-20B y gpt-oss-120B: pesos abiertos, MoE y lecciones de eficiencia

OpenAI ha publicado gpt-oss-120b y gpt-oss-20b, sus primeros modelos de lenguaje de pesos abiertos desde GPT-2 (2019), y ha liberado los pesos, tokenizadores e implementaciones de inferencia bajo licencia Apache 2.0. Los dos modelos están disponibles para descarga pública (por ejemplo en Hugging Face) y vienen diseñados para ofrecer capacidades de razonamiento, generación de código y uso de herramientas en formato de chat, aunque no soportan entradas multimodales como imágenes, audio o vídeo.

Especificaciones clave y requisitos de ejecución

La diferencia más obvia entre los dos lanzamientos es la escala de parámetros: gpt-oss-120b tiene aproximadamente 117.000 millones de parámetros, mientras que gpt-oss-20b cuenta con alrededor de 21.000 millones. En cuanto a requisitos de inferencia, OpenAI indica que el modelo de 120B requiere una GPU con 80 GB de memoria para una ejecución eficiente, mientras que la variante de 20B puede funcionar en sistemas con 16 GB de RAM, lo que la hace mucho más accesible para investigadores y desarrolladores con presupuesto moderado.

Arquitectura y métodos de entrenamiento

Ambos modelos emplean una arquitectura de transformador optimizada con técnicas de sparsificación —notablemente mezcla de expertos (Mixture of Experts, MoE)— junto con destilación a gran escala y aprendizaje por refuerzo. Según la documentación técnica publicada, estos procedimientos se combinaron para priorizar tanto precisión en tareas de razonamiento como eficiencia de inferencia. Además, los modelos están optimizados para capacidades de agente: navegación de investigación, ejecución de código y uso de interfaces de herramientas (por ejemplo, llamadas a funciones provistas por desarrolladores).

Diseños de optimización relevantes

• Mezcla de expertos (MoE) para reducir el costo computacional efectivo en pasos de inferencia.
• Destilación a gran escala para transferir capacidad desde modelos maestros a versiones más compactas o especializadas.
• Entrenamiento con señales de aprendizaje por refuerzo para afinar comportamiento en diálogo y uso de herramientas.

Rendimiento en benchmarks y evaluación comparativa

OpenAI reporta que ambos modelos obtienen resultados sólidos en pruebas estándar como HumanEval (generación y corrección de código) y MMLU (evaluación de conocimiento general y tareas académicas). Sin embargo, estudios independientes publicados en arXiv ofrecen una evaluación más amplia: un trabajo que comparó gpt-oss-120B y gpt-oss-20B frente a seis modelos de código abierto contemporáneos (14.7B–235B) en diez benchmarks encontró que, contra la intuición de "más parámetros = mejor", la variante de 20B superó consistentemente a la de 120B en tareas como HumanEval y MMLU.

Principales hallazgos de evaluación independiente

• gpt-oss-20B obtuvo mejores puntuaciones en varios benchmarks clave a pesar de tener ~1/6 de los parámetros del modelo grande.
• Los costes por respuesta (memoria y energía) del modelo de 20B fueron significativamente menores, lo que lo convierte en opción más eficiente en producción.
• Ambos modelos demostraron fortalezas en generación de código pero mostraron debilidades notables en tareas multilingües.

Eficiencia, coste de inferencia y lecciones sobre escalabilidad

Los resultados del análisis comparativo sugieren una conclusión práctica: la escalabilidad mediante arquitecturas dispersas (como MoE) no garantiza ganancias proporcionales de rendimiento. En la práctica esto significa que aumentar el conteo de parámetros o desplegar expertos adicionales puede generar mejoras marginales o incluso retrocesos si no se acompañan de ajustes en entrenamiento, enrutamiento de expertos y optimización de latencia.

Desde el punto de vista operativo, la diferencia en requisitos de memoria entre 120B y 20B impacta directamente en el coste de despliegue. Para organizaciones con restricciones de hardware o presupuesto, el modelo de 20B puede ofrecer un mejor balance entre rendimiento y coste, especialmente en aplicaciones que priorizan generación de código y tareas de razonamiento limitadas.

Implicaciones para la comunidad de código abierto y la investigación

La liberación de pesos y herramientas bajo Apache 2.0 es significativa: permite auditoría, investigación reproducible, fine-tuning y despliegue comunitario sin las barreras de licencias propietarias. Estas publicaciones ofrecen un banco de pruebas real para estudiar cómo las técnicas de distilación y MoE interactúan en sistemas de agente y para desarrollar mejoras en eficiencia, robustez y seguridad.

Además, el hallazgo de que un modelo más pequeño puede superar a uno mayor en varios benchmarks refuerza el interés en estrategias como:

• Optimización del entrenamiento y currículum de datos en lugar de escalar parámetros a ciegas.
• Mejor enrutamiento y balanceo en arquitecturas MoE.
• Distilación dirigida y adaptada a tareas para producir modelos especializados más eficientes.

Limitaciones, riesgos y áreas de mejora

Aunque ambos modelos son capaces y accesibles, existen limitaciones claras. No procesan modalidades distintas al texto (sin visión, audio o vídeo), presentan debilidades multilingües y muestran un rendimiento global “medio” en el panorama actual de modelos abiertos. Además, la liberación de pesos conlleva riesgos —desde maluso hasta la proliferación de modelos sin medidas de seguridad adecuadas— que la comunidad y los proveedores deben abordar con políticas de mitigación y mejores prácticas de despliegue.

Qué significa esto para desarrolladores y empresas

Prácticamente, la elección entre gpt-oss-20B y gpt-oss-120B dependerá de prioridades concretas: coste y latencia vs. capacidad potencial de escalado. Para prototipado, investigación reproducible y aplicaciones productivas con restricciones de hardware, gpt-oss-20B emerge como la opción más atractiva. Para escenarios donde se exploran límites de agente o se requiere experimentar con MoE en entornos controlados, gpt-oss-120B sigue siendo relevante.

Conclusión

La publicación de gpt-oss-120b y gpt-oss-20b marca un paso importante en la apertura de modelos avanzados por parte de un actor central de la industria. Más allá del gesto de transparencia, los hallazgos de evaluación muestran que la eficiencia del diseño y el pipeline de entrenamiento pueden ser tan importantes —o más— que la mera escala de parámetros. Para la comunidad, esto abre oportunidades de investigación práctica en optimización de MoE, destilación y despliegue eficiente, al tiempo que plantea retos en gobernanza y seguridad que deberán ser abordados colectivamente.

Fuentes y lecturas adicionales: artículo periodístico sobre el lanzamiento (Engadget) y los informes técnicos publicados en arXiv (documento del modelo, evaluación comparativa).