Item response theory

Item response theory (IRT) 是一类方法，它根据对各个任务的作答，同时估计作答者的能力和任务的难度。在 AI 评估中，作答者是智能体，而作答可以是一次完整尝试的成功或失败。

假设两个智能体解同样的三项任务。第一个通常能完成 A 和 B，第二个还能完成 C。单看成功的百分比，可以得到一个排名。IRT 还试图进一步估计 C 相对于其余任务有多难，以及多大的能力差异能够解释这样的作答模式。这是一个教学示例；这么小的表格不足以得出可靠的拟合。

在简单的 Rasch 模型中，智能体的能力相对于任务难度越高，成功的几率就越大。这两个量都是隐藏的：我们从结果中推断它们，而不是一上来就把难度等同于指令的长度或人类的耗时。IRT 的各种变体会加入更多的参数和假设。

在对 METR 时间跨度的分析中，作者用一条学习得到的曲线把隐藏的难度与人类的工作时间联系起来。他们还加入了任务族效应和重复尝试结果之间的差异。这样就可以检验，在哪个区间里时间确实能区分对 AI 来说难和易的任务。Nguyen 和 Fithian, §2.3 和 §3.1。

对作答预测得好，并不能证明学到的参数涵盖了智能体所有类型的能力。解读时必须检查模型的假设，以及在拟合时未使用的任务上的结果。