METR 时间跨度变长，并不意味着任务按比例变难
一个团队想弄清楚，能不能把更长的编程任务交给智能体的下一个版本。于是他们比较基准测试的结果，而这些结果是用人类完成这项工作所需的时间来描述的。这样的结果很容易被当成一种提示：现在已经可以把多少工作交给智能体了。
不过，这种解读需要先检验一点：人类工作的时间更长，是否真的意味着任务对 AI 也相应地更难。如果在某个区间里，各项任务对智能体的难度相近，那么它的成功率稍有提高，结果就可能跨过一大段分钟数。
这时，在挑选智能体时我们还需要一项额外的信息：完成同一批任务的几率发生了怎样的变化。如果我们比较的恰好是基准测试中时间不太能区分难度的那一段，单看时间的倍数就可能高估两个版本之间的差别。
METR 把这种测量称为 time horizon。在阈值为 50% 的版本中，它指的是这样一个人类工作时间：拟合出的曲线预测智能体在此处有一半的尝试成功。这是对该耗时的任务取的平均，而不是对其中每一项任务的保证。这里测量的并不是 AI 自身的运行时间。
在预印本 On the estimation and validity of AI time horizons—a statistical look at the METR plot 中，Drew T. Nguyen 和 William Fithian 分析的正是从时间到难度的换算。这项研究属于 AI 评估与统计学领域，首次发表于 2026 年 10 月 8 日，它在 METR 的数据中指出，在人类工作时间 2 到 30 分钟之间有一段几乎平坦的区段。对所考察的智能体来说，这个区间里的任务平均难度相近。
几率的小变化可以把阈值推得很远
下面的例子是自拟的教学简化，不是研究结果。我们有 A、B、C 三项任务，人类完成它们分别需要 3、10 和 30 分钟。两个智能体各自在相同的环境中把每项任务执行 100 次。我们记录成功或失败。
| 任务 | 人类耗时 | 较旧智能体的成功次数 | 较新智能体的成功次数 |
|---|---|---|---|
| A | 3 分钟 | 100 次中 50 次 | 100 次中 52 次 |
| B | 10 分钟 | 100 次中 49 次 | 100 次中 51 次 |
| C | 30 分钟 | 100 次中 48 次 | 100 次中 50 次 |
为了看得清楚，我们把这些频率当作精确已知的几率，并用递减的曲线把各点连起来。较旧的智能体在 3 分钟处与 50% 相交，较新的在 30 分钟处。时间跨度增长到十倍，可每项任务上的成功率只提高了 2 个百分点。每个智能体的 300 次尝试中，成功次数从 147 变成了 153。
三项任务和所有的失败都留在测量之中。我们只是选取曲线与阈值相交的位置；既没有过滤什么，也没有奖励什么。这个假想测试的成本是 600 次完整的智能体尝试。在真实的实验中，这样的样本量不足以把 2 个百分点的差别看作确定无疑。必须拟合曲线并估计不确定性。
这个例子展示的是从一条几乎平坦的曲线上读取时间跨度的操作。在研究中，曲线的形状要先从许多任务和系统中确定下来。如果曲线在另一个区间下降得快得多，同样倍数的时间跨度就需要成功几率有更大的提高。因此，从 3 分钟到 30 分钟，与从 30 分钟到 5 小时，按定义并不是等量的进步。
人类耗时需要与对 AI 的难度相匹配
出发点是一张结果表：某个智能体执行了哪项任务、执行了多少次、结果如何。我们还知道人类的耗时和任务所属的族。我们不知道的，是一个描述它对 AI 有多难的客观数字。
作者的基线假设，人类耗时每翻一倍，难度都增加同样的一步。它让所有智能体的曲线共用一个斜率；各条曲线的差别在于能力水平。这是一个比最初采用的、对每个系统单独回归更强的参照点。
第一个方案用一条学习得到的单调样条（spline）曲线取代固定的步长：它由平滑衔接的若干段组成，各段可以增长得快一些或慢一些。耗时更长仍然不会降低预测的难度，但增长不必是均匀的。
第二个方案在论文中称为 Model 2，它采用了 item response theory, IRT。它根据成功与失败的模式，同时估计智能体的能力和任务的难度。它还考虑了同属一个族的任务之间的相似性，以及各次尝试结果的额外差异。这样一来，同一对“智能体–任务”的多次重复，就不会被当成同样多条关于整个基准测试的全新而独立的信息。
基线与新方法出现分歧的第一步，就是从人类耗时到难度的换算。输入的智能体结果保持不变。因此，新的拟合可以在 AI 的回答一个都不变的情况下改变时间跨度。
同样的 GPT-4o 结果给出了不同的时间跨度
作者重新分析了 METR Time Horizon 1.1 保存下来的结果：228 项任务和 26 个 AI 系统。在图 1 中，GPT-4o 的时间跨度按共用斜率的基线计算是 7.2 分钟，按 Model 2 计算是 4.4 分钟。这是由同一批尝试得出的两个估计，既不表示 GPT-4o 的表现变差了，也不是对它推理成本的比较。
更灵活的曲线也可能只是更好地拟合了噪声。所以作者检验了对拟合时未使用的整个任务族的结果预测。在五折验证中，他们划分的是 79 个族，而不是同一任务的单次尝试。在指标与结果加权方式的全部 12 种组合中，两种新方法的点估计都更好。这意味着预测成功的误差更小，而不是智能体本身的成功率提高了。§2.4–2.5 和图 2
优势的分布并不均匀。拟合改进最多的，是时间跨度穿过上述平坦区间的 GPT-4 时代的系统。对最强的系统来说，所比较的几条曲线几乎重合。针对单个系统的估计也远不如汇总结果那样具有决定性。附录 A
实验细节
数据与设置。这是对 METR 公开结果的重新分析，不是一批新的智能体运行。任务涉及软件方面的工作，成功与否由自动评分判定。人类耗时通常是各次成功完成所用时间的几何平均；一部分数值来自专家的估计。AI 的推理时间不是所测时间跨度中的变量。
模型和 checkpoint 的选择。作者没有训练新的 LLM，也没有挑选它们的最佳 checkpoint。他们使用的是 METR 以往评估保存下来的结果。GPT-4o 是一个参数量未公开的 API 模型。这项分析并不确定它内部选择权重的流程。统计拟合采用最大似然法；Model 2 使用 EM 算法和积分的数值近似。曲线形状的图使用全部数据，而上文所述的预测质量比较使用按族的划分。
指标。这一组指标包括 marginal log score，也就是二元的 cross-entropy [Polski]，Brier score，以及在 50% 和 80% 阈值附近的平滑误差指标。Cross-entropy 会严厉惩罚自信而错误的预测；Brier score 衡量的是几率与成功/失败结果之差的平方。数值越低越好。四项指标各在三种加权方式下计算：任务等权、族等权，以及 METR 采用的折中版本。我们不把它们加总成一个百分比的改进。
成本与不确定性。新的分析需要进行统计拟合，各个验证划分也要单独拟合，但不需要额外调用被评估的 LLM。论文没有报告部署该估计方法所节省的时间或金钱。主要比较的不确定性区间是按任务族计算的。每项指标的点估计更好，并不意味着每一个单独的对比在统计上都具有决定性。
更长的任务需要重新检验这把尺子
论文没有确定平坦区段的成因，也没有表明它会出现在每一个基准测试中。它同样没有证明 METR 的任务代表了程序员的全部工作。作者并不质疑观察到的指数式进步趋势；他们研究的是人类工作时间轴上的间距意味着什么。
实际的用法，是在时间跨度之外补上一张按固定任务区间绘制的成功几率图。这样就能看出，时间跨度的跃升是否对应着可靠性的明显变化。往自己的基准测试里加入更长的任务时，在延长现有曲线之前，值得先在留出的任务族上检验一下，它们的耗时是否仍能预测对智能体的难度。
资料来源
- Drew T. Nguyen, William Fithian, On the estimation and validity of AI time horizons—a statistical look at the METR plot，预印本，2026 年，v1。arXiv:2610.12466；DOI: 10.48550/arXiv.2610.12466。全文。
- METR，Task-Completion Time Horizons of Frontier AI Models，测量的定义、评估流程和局限。该页面注明，这张图已不再积极更新。
我把 AI 生成的内容用作日常学习过程的一部分。