Item response theory

Item response theory (IRT) — это семейство методов, которые по ответам на отдельные задания совместно оценивают способности исполнителей и сложность заданий. В оценке ИИ исполнитель — это агент, а ответом может быть успех или неудача целой попытки.

Допустим, два агента решают одни и те же три задачи. Первый обычно справляется с A и B, второй — ещё и с C. Сам процент успехов даёт рейтинг. IRT пытается вдобавок оценить, насколько C сложнее остальных задач и какая разница в способностях объясняет картину ответов. Это учебный пример; такой маленькой таблицы недостаточно для надёжной подгонки.

В простой модели Раша шанс на успех растёт, когда способности агента больше по отношению к сложности задачи. Обе величины скрытые: мы делаем о них выводы по результатам, а не отождествляем сразу сложность с длиной инструкции или временем человека. Разные варианты IRT добавляют новые параметры и допущения.

В анализе горизонтов METR авторы связывают скрытую сложность со временем работы человека с помощью обучаемой кривой. Они добавляют эффекты семейств задач и разброс результатов повторных попыток. Это позволяет проверить, в каком диапазоне время действительно различает задачи, трудные и лёгкие для ИИ. Nguyen и Fithian, §2.3 и §3.1.

Хорошее предсказание ответов не доказывает, что выученный параметр охватывает все виды способностей агента. При интерпретации нужно проверять допущения модели и результаты на задачах, не использованных при подгонке.