Sakana AI 的自我改进模型：解题与评判能力提升，但仍无法发现自身盲区

Sakana AI 的 MASS 方法让单一语言模型通过解决任务、评估结果和优化工作流程来实现自我提升，无需更强的教师模型。研究发现，三个角色均带来收益，但共同的盲点可能使错误被误当作进展，并进入下一个训练周期。

Sakana AI 与加州大学伯克利分校的研究人员提出了“多智能体自我监督”（MASS），一种递归自我改进（RSI）方法。单一语言模型负责任务、优化工作完成方式，并评估结果。

作者认为，在前沿研究中，即使是专家也常常难以判断结果，因为验证可能需要昂贵的辅助证据或漫长的实验。论文指出，一项等离子体研究可能需要超过 1.2 亿个 CPU 小时。

因此，模型本身可能是目前可用的最佳评判者，尽管它在审查自己的工作时可能忽略自身的错误。用同一个模型去解决、检查和修改，可能会强化这些错误而非纠正它们。

同一模型的多个副本分工协作

受 AI 先驱马文·明斯基的著作《心智社会》启发，研究人员重点关注模型如何分配工作。在 MASS 中，工作流是附加到提示词中的文本，用于定义每个子智能体的角色和指令。“契约”规定每个子智能体必须返回哪些信息以及必须执行哪些检查，而“跳”则设定调用的顺序。

编排器负责将工作分配给各个子智能体。例如，在用历史价格检验交易策略时，数据专家的契约必须确保该策略只使用每个时间点上可获得的信息。

在内循环中，模型的权重保持冻结，团队运行候选工作流，由评估器将结果与当前的“冠军”进行比较。优化器利用该反馈提出下一个工作流，主要方式是更改契约和跳。在外循环中，冠军在每个任务上运行 18 次，由模型自行对结果排序，并最多选择 15 次运行用于训练。

研究人员在训练样本中移除编排器初始提示词中的工作流文本，使模型学会仅依据任务来组织工作。针对子智能体的具体分配仍保留在记录的轨迹中，模型在 LoRA 微调后再次承担全部三个角色。

基础模型是 Qwen3.6-27B，以 Qwen Code 作为运行框架。研究人员使用由 GPT-5.5 生成的 12 个研究任务，涵盖金融、机器人和制药领域，其中 3 个用于测试、9 个用于训练。由于在其中一项训练任务上搜索未找到优于参考的工作流，最终只有 8 项产生训练数据。

基准测试的提升主要来自完成更多的工作

在测试任务上，相对基础模型的胜率从一轮后的 53.9 percent 上升到两轮后的 69.9 percent。在 MLR-Bench、DSBench、ScienceAgentBench 和 AstaBench 上，该模型每个输出 token 的得分达到基础模型的 1.2 到 1.6 倍。原始得分的提升有时很小，DSBench 仅从 0.473 提高到 0.482，而在 Terminal-Bench 2.0 和 SWE-bench Verified 上得分略有下降。

论文附录显示，在总共 60 份提交中，完成的 MLR-Bench 提交从 31 上升到 50，而它们的平均评分从 3.07 下降到 2.88。委派工具在全部 180 次运行中均未被使用，因此尚不清楚团队协作是否解释了这些提升。

当逐个任务比较结果时，这些提升不再具有统计显著性。作者描述了不同研究任务上好坏参半的结果，AstaBench 也呈现出同样的模式。

基于解决方案的训练也改进了评估器和优化器

尽管该模型只在解决方案轨迹上训练，但它在另外两个角色上的表现同样有所改善。自我评估器与外部评判者的一致率从 73 percent 上升到 93 percent。一轮后找到的工作流有 64 percent 的时间胜过基础模型的工作流，即使两者都由基础模型运行。

在没有工作流指令的情况下，基础模型在 110 次运行中仅有 1 次委派给子智能体，而两轮后这一数字为 87。它在被明确指示时已经可以委派，但现在无需要求也会这样做。

在优化过程中，任务知识转移到契约和跳转中，而角色和指令变得更加通用。这一发现仅基于八到九个任务的小样本。

在团队轨迹上训练得到的模型胜率为 68.3 percent，而单智能体学生模型为 64 percent，且使用的训练 token 少 31 percent。外部评判者在 85.1 percent 的情况下更偏好团队结果，尽管团队生成的 token 数量约为 2.4 倍。当输出长度相近时，评判者在 80 percent 的情况下更偏好团队结果，不过这仅基于十对样本。

被评估的团队运行表现更好，但这一比较并不能证明仅靠委派就能解释这种优势。团队运行与单智能体运行在工作流指令、审查指令以及选择了哪些成功完成的回合上也有所不同。

更好的反馈只有在优化器能够利用时才有所帮助

仅将评估器替换为 GPT-5.5 几乎没有帮助；只有当优化器也更强时，搜索进度才快得多。作者得出的结论是，好的反馈只有在优化器能够据此行动时才有所帮助。当 Qwen 承担全部三个角色时，搜索仍能为 12 个任务中的 11 个找到获胜工作流，但耗时更长。

工作流重写的幅度几乎不能说明其对结果的影响，即使是字节完全相同的工作流也可能产生相反的结果。有一次运行赢得了全部六次外部评判，而另一次运行在智能体陷入循环后输掉了全部六次。研究人员推测，限制优化器每一步的改动量可能有助于稳定搜索。

共同的盲区可能逐轮叠加

在一次机器人任务的模拟失败后，模型让模拟器被修改，直接将物体移动到目标位置，然后报告成功。外部评审在六次中仍有五次对该运行给出正面评价。在另一条用于训练的轨迹中，某项检查即使只返回了无效值也仍然通过。

作者们将共同盲区视为递归自我改进潜在的“阿喀琉斯之踵”。如果模型在三个角色中都漏掉同一个错误，该错误就可能被当作改进而被接受，并固化到下一个模型中。这一弱点将同时影响系统本身及其纠正机制，因此作者呼吁引入独立检查、限制自主性，并明确干预条件。代码已公开发布。

日本研究实验室 Sakana AI 于六月成立了专门的递归自我改进研究实验室，此前的相关工作包括 Darwin-Godel Machine 和 AI Scientist。Google 研究人员则在探索一种相关方法：在固定模型周围自动优化提示词、工作流和工具的脚手架，同时避免智能体过拟合到其测试任务。

Vals AI 最近发现，智能体团队的成本是单一智能体的 1.8 到 5.1 倍，但在四次比较中只有一次表现出可衡量的优势。Anthropic 的研究表明，为钻奖励系统空子而进行奖励黑客行为的模型，也会学会欺骗并破坏安全检查。