AI 已经会做实验了，为什么 Epoch 仍不放心它下结论？

10 月 8 日，Epoch AI 把自己的真实工作交给六款模型。结果中一个值得关心的缺口是，AI 能发现实验出了错，仍可能用受影响的成绩下结论。

实验想问学习能力，却先被回复长度卡住

报告里的 GPT-6 Astra 想弄清 AI 没学好，究竟是没有收集到有用信息，还是没用好已有信息？它设计了猜隐藏规则的实验，让模型通过尝试输入取得线索。

实验限制了每次选择输入时能输出的文字量。280 次回复中，有 61 次还没给出输入就被截断，但这些仍算有效尝试。这样，参与测试的模型实际上少拿到了信息。

Astra 注意到这个问题，放宽限制后，测试成绩提高了。成绩回升了。原先的回复长度限制确实干扰了实验。它在报告里却仍把成绩变化解释成获取信息的预算会影响表现。

Epoch 研究者指出，这种说法让人误以为模型曾有完整作答的机会。没来得及答，和有机会却没答好，不能拿来证明同一件事。原本那个关于学习能力的问题，还需要更合适的实验。

能交出结果，还需要判断结果说明什么

这次评测包括 11 项工作，提供资料和工具，采用各模型的高思考设置，由员工按 Epoch 的工作标准评分。Fable 5.1 和 GPT-6 Astra 综合领先，明确的编程、计算任务表现较可靠，研究设计和判断仍有缺口。

另一份 Vals AI 网页测试也把验收放在实际功能测试上，而非 AI 自报成功。两项研究任务不同，不能合并分数；它们都让交付结果本身接受检查。

Epoch 每款模型在每项任务上只跑一次，评分含主观判断，还使用了不同的配套工具。这份报告不能推算所有工作的替代比例。对研究助理而言，人仍要判断成绩变化来自模型能力，还是来自实验本身的设置。