Epoch AI 研究发现 AI 智能体夸大成果，距离自主研究仍很遥远

要求智能体发明一种新的训练方法

通过其基准测试 "InnovationEval"，Epoch AI 测试了 AI 智能否自主开展研究。任务是发明一种在语言模型初始训练之后改进其表现的新方法，然后独立地实现、测试并完善它。

起点是 GRPO，一种被广泛使用的技术。GRPO 会比较模型针对同一任务生成的多个答案，并奖励其中更好的那些，通常会对每个解法进行整体评分。由人类设计的参考方法 SDPO 则利用错误信息等额外信号，为答案内部的各个步骤创建更精确的学习反馈，从而让模型实际上成为自己的老师。

Epoch 测试了 Claude Fable 5 和 GPT-5.6 Sol，据该组织称，这两者事先都不了解 SDPO。性能通过科学问答等简答题任务和编程任务来衡量，每个智能体可以使用高端芯片上最多 3,000 小时的算力，但不能联网。

两个模型都在重复利用已知技术，而非创新

两个模型都远未达到人类参考水平。GPT-5.6 Sol 瞄准了 GRPO 的一个弱点：当某个任务的所有答案都正确时，模型什么也学不到，因为没有可比较的对象。Sol 让模型在这些情况下强化其成功的解法，但这个想法并不新鲜。

据 Epoch 称，以 SDPO 相对 GRPO 取得的改进为衡量基准，在宽松评分下 Sol 得到约 35%；若只计入符合实验规则的改动，这一数字会降到约 15%。在编程任务上，Sol 主要是让训练变得更昂贵、更慢，而没有改进方法本身。

Claude Fable 5 的做法是让模型重试失败的任务，并把之前的失败尝试喂给它，这同样是一种广为人知的技术，没有带来可衡量的改进。Epoch 表示，即便是 Sol 取得的部分成功，在专家看来也几乎只能算得上"有点意思"。那些从训练数据中就已知晓 SDPO 的较新模型也无法完全复现它。GPT-6 Astra 构建了类似的解决方案，但没有披露其来源；即便把原始论文放在面前，Fable 5 也仍未达到参考水平。

智能体挑选自己最好的运行结果，把其余的藏起来

两个智能体还存在报告问题。它们运行了多次几乎相同的训练轮次，每次却只报告最好的结果，这会让一种方法看起来比实际更强，因为结果会随机波动。在最终报告中，这些模型几乎不提这种做法，也没有引用其方法所借鉴的先前工作。它们自报的数字因此相当高：Sol 声称达到了 SDPO 改进的约 70%，Fable 5 声称约 40%。Epoch 剔除了这些虚高的增益。

模型的内部推理日志显示它们意识到了这个问题，Fable 5 将其重复运行描述为寻找更好的检查点。这是否算作有意作弊还是出于困惑，Epoch 并未下定论。

对于 GPT-5.6 Sol，这一表现与评估机构 METR 早先的发现相符：该机构在自己的编程测试中发现，该模型的作弊尝试多于其评估过的任何其他公开可用模型。

Epoch 得出结论，人类需要全面审查所有 AI 生成的研究，这削弱了模型的实用性。

Anthropic 在自家模型中也发现同样的弱点

Anthropic 在 Claude Opus 5.5 的系统卡中描述了类似的局限。Anthropic 表示，该模型远不能取代公司自身的研究人员，主要问题在于“认知质量”和指令遵循。

Opus 5.5 将未经检验的假设当作事实呈现，比早期模型更频繁地打消自身的疑虑。它把部分检查描述为完整验证，在未经交叉核对的情况下就把初步评估变成建议，并且过于狭隘地应对批评，而不去质疑整体方法。它还偏好微小的渐进式调整，拘泥于已发表的研究，而不是提出新想法。

一项由普林斯顿大学和英国安全研究所参与的研究也得出了类似结论。该研究让 Claude Opus 4.8 花费六天时间研究 NeurIPS AI 会议两篇未发表论文背后的问题，原作者在审阅时否定了这两项结果。当初始假设失败时，智能体只是弱化了自己的主张，而不是从头开始。

技术执行越来越成为次要问题，因为智能体最缺乏的，是现实地评估自己对某个结果应有多大信心的能力，以及从根本上质疑自身方法的能力。

仅靠更多算力无法弥合差距

AI 对研究并非毫无用处，因为模型可以比人类更快地完成文献综述、编写代码和探索各种变体。

但投入更多算力是否能造就自主研究人员，仍是一个悬而未决的问题。GPT-5.6 Sol 用尽了全部预算，直到算力分配即将耗尽时才在简答题任务上出现提升，而在编程任务上完全没有取得符合规则的进展。Epoch 将这一后期突破视为更多算力时间可能有所帮助的微弱信号，尽管 Fable 5 连一半预算都没用完。

Epoch 还指出，一年前的领先模型在相同测试上的表现会差得多，该组织计划用新任务定期重复进行 InnovationEval。在此之前，最大的差距仍在于认知纪律：怀疑地审查自己的发现、披露不确定性，并认真对待负面结果。