¿Es lo suficientemente eficiente para agentes? Evaluando modelos abiertos en tus propias herramientas

Este artículo explora la importancia de optimizar las herramientas de software para agentes de IA, yendo más allá de solo validar el resultado final. Se presenta un benchmark que mide el esfuerzo (tiempo, tokens, errores) que un agente utiliza para completar una tarea. Usando `transformers` como estudio de caso, se demuestra cómo las mejoras en la API, como una interfaz de línea de comandos (CLI) o "Skills", pueden reducir significativamente el trabajo de los agentes grandes, pero a veces pueden afectar negativamente a los modelos más pequeños al introducir ambigüedad o hacer que ignoren patrones previamente aprendidos. El benchmark permite evaluar cómo los cambios en una biblioteca impactan en el rendimiento de los agentes, diferenciando el comportamiento de modelos grandes y pequeños.