Time horizon

Time horizon в оценке агентов описывает длину задач, при которой агент достигает выбранного уровня успешности. Длина измеряется временем, которое нужно человеку, а не временем работы ИИ.

Для варианта 50% мы собираем удачные и неудачные попытки агента на задачах с разным временем человека. Подбираем кривую шансов на успех, а затем считываем время, при котором она пересекает 50%. Это предсказание для распределения задач с данным временем; оно не означает, что у каждой из них одинаковый шанс быть выполненной. METR: определение и методология.

Учебный пример: если подобранная кривая достигает 50% на двух часах, то два часа и есть горизонт. Удачную задачу агент может выполнить гораздо быстрее. Сам по себе результат не говорит и о том, насколько успешно агент справится с задачей из другой области.

Чтобы такое считывание имело смысл, между временем человека и сложностью для ИИ должна быть осмысленная зависимость. Когда кривая плоская, небольшое изменение шансов может сильно сдвинуть точку её пересечения с порогом. Статья о пересчёте горизонта METR показывает эту проблему на примере, который можно просчитать, и разбирает новую подгонку к данным METR. Nguyen и Fithian, §2–3.

При сравнении горизонтов нужно сохранять сведения о наборе задач, среде агента, бюджете попыток и принятом пороге успешности.

Я использую контент, сгенерированный ИИ, как часть своего ежедневного процесса обучения.