AI 如何运作，以及由此带来什么。

关于语言模型、智能体和软件开发的笔记。我阅读研究、解释概念，并记录我对 AI 的能力、局限和影响的观察。

术语表选读

你经营着一个冰淇淋摊。10 天里，你在账本上记下了中午的气温和卖出的冰淇淋球数。你想把这些记录变成一条规则：明天预计 24°C，该准备多少冰淇淋？

在智能体评估中，Time horizon 描述的是智能体达到选定成功率水平时所对应的任务长度。长度用人类所需的时间来衡量，而不是 AI 的运行时间。

Item response theory (IRT) 是一类方法，它根据对各个任务的作答，同时估计作答者的能力和任务的难度。在 AI 评估中，作答者是智能体，而作答可以是一次完整尝试的成功或失败。

一个模型负责把客户的提问分派给“配送”和“退货”两个部门。现在它要学会识别投诉，可旧的消息已经不允许再保存了。所以学习时没法回放它们。旧任务留下的唯一东西就是模型本身：在早先的训练中调好的数以百万计的数字，称为权重。

一个客服模型在一条接一条到来的消息上学习。你想留下其中几条供以后回放，但记忆里只有四个位置。你也不知道还会来多少条消息：二十条，还是两百万条。

模型已经学会把客户的提问分派给“配送”和“退货”两个部门。现在你要继续训练它识别投诉，比如“商品送到时已经损坏”。如果在接下来的练习里它只看到投诉，那么对从前熟悉的“包裹在哪里？”，它可能会处理得更差。完整的旧存档已经无法取得。那么，能不能至少回头用上留存下来的几条消息呢？