Time horizon

在智能体评估中，Time horizon 描述的是智能体达到选定成功率水平时所对应的任务长度。长度用人类所需的时间来衡量，而不是 AI 的运行时间。

以 50% 的版本为例：我们收集智能体在人类耗时各不相同的任务上成功和失败的尝试，拟合出一条成功几率曲线，再读出它与 50% 相交处的时间。这是针对某一耗时的任务分布所作的预测；它并不表示其中每一项任务被完成的几率都相同。METR：定义与方法。

一个教学示例：如果拟合出的曲线在两小时处达到 50%，那么两小时就是时间跨度。智能体完成一项成功的任务所用的时间可能短得多。这个结果本身也不说明它在另一个领域的任务上会有怎样的成功率。

要读出这个数值，人类耗时与任务对 AI 的难度之间必须存在合理的关系。当曲线平坦时，成功几率的微小变化就可能让它与阈值的交点移动很远。关于 METR 时间跨度换算的文章用一个可以算出来的例子展示了这个问题，并讨论了对 METR 数据的新拟合。Nguyen 和 Fithian, §2–3。

比较时间跨度时，必须保留有关任务集、智能体运行环境、尝试次数预算和所采用的成功率阈值的信息。