Item response theory

L’item response theory (IRT) est une famille de méthodes qui, à partir des réponses à chaque tâche, estiment conjointement les capacités de ceux qui les exécutent et la difficulté des tâches. Dans l’évaluation de l’IA, l’exécutant est un agent, et la réponse peut être le succès ou l’échec d’une tentative complète.

Supposons que deux agents résolvent les trois mêmes tâches. Le premier vient généralement à bout de A et de B, le second aussi de C. Le seul pourcentage de succès donne un classement. L’IRT cherche en plus à estimer à quel point C est difficile par rapport aux autres tâches, et quel écart de capacités explique le schéma des réponses. C’est un exemple pédagogique ; un tableau aussi petit ne suffit pas pour un ajustement fiable.

Dans le modèle simple de Rasch, la chance de succès augmente lorsque les capacités de l’agent sont plus grandes par rapport à la difficulté de la tâche. Les deux grandeurs sont cachées : on les infère à partir des résultats, au lieu d’assimiler d’emblée la difficulté à la longueur de la consigne ou au temps humain. Les différentes variantes de l’IRT ajoutent d’autres paramètres et d’autres hypothèses.

Dans l’analyse des horizons METR, les auteurs relient la difficulté cachée au temps de travail humain au moyen d’une courbe apprise. Ils ajoutent des effets de familles de tâches et la variabilité des résultats entre répétitions. Cela permet de vérifier dans quelle plage le temps distingue réellement les tâches difficiles des tâches faciles pour l’IA. Nguyen et Fithian, §2.3 et §3.1.

Une bonne prédiction des réponses ne prouve pas que le paramètre appris couvre tous les types de capacités d’un agent. Pour l’interprétation, il faut vérifier les hypothèses du modèle et les résultats sur des tâches non utilisées lors de l’ajustement.