Статья · · 6 мин чтения
Более длинный горизонт METR не означает пропорционально более трудных задач
Команда хочет понять, можно ли доверить новой версии агента более длинные задачи по программированию. Для этого она сравнивает результаты бенчмарка, выраженные временем, которое понадобилось на эту работу человеку. Такой результат легко принять за подсказку, сколько работы уже можно отдать агенту.
Однако это толкование требует проверки: действительно ли более долгая работа человека означает соответственно более трудную задачу для ИИ. Если в каком-то диапазоне задачи для агента примерно одинаково трудны, небольшое улучшение его успешности может сдвинуть результат на большой диапазон минут.
При выборе агента тогда нужна дополнительная информация: как изменился шанс выполнить те же самые задачи. Сам множитель времени может преувеличивать разницу между версиями, если мы сравниваем как раз тот участок бенчмарка, где время слабо различает сложность.
METR называет такое измерение time horizon. В варианте с порогом 50% это время работы человека, при котором подобранная кривая предсказывает половину удачных попыток агента. Это среднее для задач с данным временем, а не гарантия для каждой из них. Время работы самого ИИ здесь не измеряется.
В препринте On the estimation and validity of AI time horizons—a statistical look at the METR plot Drew T. Nguyen и William Fithian анализируют именно пересчёт времени в сложность. Работа из области оценки ИИ и статистики, впервые опубликованная 8 октября 2026 года, указывает в данных METR на почти плоский участок между 2 и 30 минутами работы человека. Задачи из этого диапазона были в среднем близки по сложности для исследованных агентов.
Небольшое изменение шансов может далеко сдвинуть порог
Пример ниже — собственное учебное упрощение, а не результат исследования. У нас три задачи: A, B и C, которые занимают у человека соответственно 3, 10 и 30 минут. Каждый из двух агентов выполняет каждую задачу 100 раз в одной и той же среде. Мы записываем успех или неудачу.
| Задача | Время человека | Успехи старого агента | Успехи нового агента |
|---|---|---|---|
| A | 3 минуты | 50 из 100 | 52 из 100 |
| B | 10 минут | 49 из 100 | 51 из 100 |
| C | 30 минут | 48 из 100 | 50 из 100 |
Для наглядности будем считать эти частоты точно известными шансами и соединим точки убывающими кривыми. Старый агент пересекает 50% на 3 минутах, новый — на 30. Горизонт вырастает в десять раз, хотя на каждой задаче успешность выросла всего на 2 процентных пункта. В 300 попытках на агента число успехов изменилось со 147 до 153.
Все три задачи и все неудачи остаются в измерении. Мы выбираем только место пересечения кривой с порогом; ничего не отфильтровываем и не вознаграждаем. Цена этого условного теста — 600 полных попыток агента. В реальном эксперименте при таком числе попыток разницу в 2 процентных пункта нельзя считать надёжной. Нужно подобрать кривую и оценить неопределённость.
Пример показывает саму операцию считывания горизонта с почти плоской кривой. В исследовании её форму ещё только предстоит установить по множеству задач и систем. Если в другом диапазоне кривая падает намного быстрее, тот же множитель горизонта требует большего роста шансов на успех. Поэтому переходы от 3 к 30 минутам и от 30 минут к 5 часам не являются по определению равными порциями прогресса.
Время человека нужно соотнести со сложностью для ИИ
Отправная точка — таблица результатов: какую задачу выполнял данный агент, сколько раз и с каким исходом. Нам известны также время человека и семейство задачи. Неизвестно одно — объективное число, описывающее её сложность для ИИ.
Базовая модель авторов предполагает, что каждое очередное удвоение времени человека увеличивает сложность на один и тот же шаг. Она использует общий наклон кривых для всех агентов; различаются они уровнем способностей. Это более сильная точка отсчёта, чем отдельная регрессия для каждой системы, которая применялась изначально.
Первое предложение заменяет постоянный шаг обучаемой монотонной кривой типа сплайна: гладко соединёнными фрагментами, которые могут расти быстрее или медленнее. Более долгое время по-прежнему не снижает предсказанную сложность, но рост не обязан быть равномерным.
Второе предложение, названное в работе Model 2, использует item response theory, IRT. По картине успехов и неудач оно совместно оценивает способности агентов и сложность задач. Учитывается также сходство задач, принадлежащих одному семейству, и дополнительный разброс результатов попыток. Благодаря этому множество повторов одной и той же пары «агент — задача» не считается таким же количеством новых, независимых сведений обо всём бенчмарке.
Первый шаг, на котором базовая модель и новые методы расходятся, — это пересчёт времени человека в сложность. Исходные результаты агентов остаются теми же. Поэтому новая подгонка может изменить горизонт, не изменив ни одного ответа ИИ.
Те же результаты GPT-4o дали другой горизонт
Авторы заново анализируют сохранённые результаты METR Time Horizon 1.1: 228 задач и 26 ИИ-систем. На рисунке 1 горизонт GPT-4o составляет 7,2 минуты по базовой модели с общим наклоном и 4,4 минуты по Model 2. Это две оценки по одним и тем же попыткам, а не ухудшение работы GPT-4o и не сравнение стоимости его инференса.
Более гибкая кривая могла бы просто лучше подстроиться под шум. Поэтому авторы проверяют предсказание результатов на целых семействах задач, не использованных при подгонке. В пятичастной валидации они делят 79 семейств, а не отдельные попытки одной и той же задачи. У обоих новых методов точечные оценки лучше во всех 12 комбинациях меры и способа взвешивания результатов. Это означает меньшую ошибку предсказания успеха, а не рост успешности самих агентов. §2.4–2.5 и рисунок 2
Преимущество распределено неравномерно. Сильнее всего улучшается подгонка для систем эпохи GPT-4, чьи горизонты проходят через указанный плоский диапазон. Для самых сильных систем сравниваемые кривые почти совпадают. Оценки для отдельных систем к тому же гораздо менее убедительны, чем сводный результат. Приложение A
Подробности эксперимента
Данные и постановка. Это повторный анализ публичных результатов METR, а не новая серия запусков агентов. Задачи касаются работы над программным обеспечением и имеют автоматическую оценку успеха. Время человека — обычно среднее геометрическое времён удачных выполнений; часть значений получена из оценок экспертов. Время инференса ИИ не является переменной измеряемого горизонта.
Выбор модели и чекпойнта. Авторы не обучают новых LLM и не выбирают их лучший чекпойнт. Они используют сохранённые результаты прежних оценок METR. GPT-4o — модель, доступная через API, с нераскрытым числом параметров. Этот анализ не устанавливает её внутренний протокол выбора весов. Статистические подгонки используют метод максимального правдоподобия; Model 2 применяет EM-алгоритм и численное приближение интегралов. Графики формы кривых построены по полным данным, а описанное выше сравнение качества предсказаний использует разбиение по семействам.
Меры. В набор входят marginal log score, то есть бинарная cross-entropy [Polski], Brier score и сглаженные меры ошибки вблизи порогов 50% и 80%. Cross-entropy сильно штрафует уверенные ошибочные предсказания; Brier score измеряет квадрат разницы между шансом и исходом «успех/неудача». Чем ниже значение, тем лучше. Каждая из четырёх мер вычислена при трёх способах взвешивания: равные задачи, равные семейства и промежуточный вариант, используемый METR. Мы не складываем их в одно процентное улучшение.
Стоимость и неопределённость. Новый анализ требует статистических подгонок, в том числе отдельно для валидационных разбиений, но не дополнительных вызовов оцениваемых LLM. Работа не сообщает об экономии времени или денег от внедрения оценщика. Интервалы неопределённости основного сравнения считаются по семействам задач. Лучший точечный результат каждой меры не означает, что каждый отдельный контраст статистически убедителен.
Более длинные задачи требуют повторной проверки шкалы
Работа не устанавливает причину плоского участка и не показывает, что он появится в каждом бенчмарке. Она не доказывает и того, что задачи METR представляют всю работу программиста. Авторы не оспаривают наблюдаемый экспоненциальный тренд прогресса; они исследуют, что означают интервалы на оси времени работы человека.
Практическое применение — дополнять горизонт графиком шансов на успех для фиксированных диапазонов задач. Так можно увидеть, соответствует ли его скачок отчётливому изменению надёжности. Добавляя в собственный бенчмарк более длинные задачи, стоит проверить на отложенных семействах, по-прежнему ли их время предсказывает сложность для агента, прежде чем продлевать имеющуюся кривую.
Источники
- Drew T. Nguyen, William Fithian, On the estimation and validity of AI time horizons—a statistical look at the METR plot, препринт, 2026, v1. arXiv:2610.12466; DOI: 10.48550/arXiv.2610.12466. Полный текст.
- METR, Task-Completion Time Horizons of Frontier AI Models, определение измерения, процедура оценки и ограничения. На странице отмечено, что график больше не обновляется активно.