¿Es lo suficientemente agéntico? Evaluación comparativa de modelos abiertos en sus propias herramientas

Este artículo explora cómo evaluar la eficacia de los modelos de lenguaje agentes al interactuar con herramientas, utilizando el framework `transformers` como estudio de caso. Se propone un nuevo enfoque de benchmarking que no solo mide la precisión de la respuesta final, sino también el esfuerzo que le lleva al agente llegar a ella. Se analiza el impacto de diferentes configuraciones (bare, clone, skill) y revisiones de la biblioteca en grandes y pequeños modelos, revelando que las mejoras para unos pueden perjudicar a otros. El objetivo es ayudar a los desarrolladores a optimizar sus APIs para interacciones con agentes.