TutorMoments: ¿Saben los tutores de IA cuándo ayudar y cuándo abstenerse?

Allen Institute for AI (Ai2) ha presentado TutorMoments, un marco para evaluar la capacidad de los LLM para equilibrar el dilema de cuándo intervenir y ayudar a un estudiante o permitir que el alumno resuelva el problema por sí mismo. La herramienta utiliza transcripciones de sesiones de tutoría de matemáticas reales. Los primeros resultados muestran que los modelos de lenguaje tienden a ayudar en exceso, aunque una formulación más precisa del "prompt" mejora su rendimiento. El proyecto también lanza un conjunto de datos, código y modelos para la reproducibilidad y para fomentar la investigación en tutores de IA adaptables.