Item response theory

Item response theory (IRT) é uma família de métodos que, a partir das respostas a cada tarefa, estimam em conjunto a capacidade de quem as executa e a dificuldade das tarefas. Na avaliação de IA, quem executa é um agente, e a resposta pode ser o sucesso ou o fracasso de uma tentativa completa.

Suponhamos que dois agentes resolvam as mesmas três tarefas. O primeiro costuma dar conta de A e B; o segundo, também de C. A porcentagem de sucessos, sozinha, fornece um ranking. A IRT tenta estimar, além disso, quão difícil é C em relação às demais tarefas e que diferença de capacidade explica o padrão de respostas. É um exemplo didático; uma tabela tão pequena não basta para um ajuste confiável.

No modelo simples de Rasch, a chance de sucesso cresce quando a capacidade do agente é maior em relação à dificuldade da tarefa. As duas grandezas são ocultas: nós as inferimos dos resultados, em vez de identificar de imediato a dificuldade com o tamanho das instruções ou com o tempo humano. As diferentes variantes da IRT acrescentam outros parâmetros e pressupostos.

Na análise dos horizontes da METR, os autores ligam a dificuldade oculta ao tempo de trabalho humano por meio de uma curva aprendida. Acrescentam efeitos das famílias de tarefas e a variação dos resultados entre repetições. Isso permite verificar em que faixa o tempo realmente distingue as tarefas difíceis das fáceis para a IA. Nguyen e Fithian, §2.3 e §3.1.

Prever bem as respostas não prova que o parâmetro aprendido abrange todos os tipos de capacidade de um agente. Na interpretação, é preciso verificar os pressupostos do modelo e os resultados em tarefas não utilizadas no ajuste.