Vals AI 基准测试显示多智能体团队成本增加 1.8 至 5.1 倍，质量几乎无提升
AI agent teams waste massive tokens for barely measurable quality gains, research finds
评测公司 Vals AI 在 Vibe Code Bench 上对 GPT-6 Sol 和 Claude Opus 5.5 进行单智能体与团队对比测试，团队成本高出 1.8 至 5.1 倍，四组对比中仅 GPT-6 Sol 中等推理设置下的团队显著高出 7.3 分，最大推理下团队对两款模型均无实质优势。
2026 年 10 月 11 日
研究发现，AI 智能体团队的成果几乎不优于单个智能体。
评估公司 Vals AI 在 "Vibe Code Bench" 上测试了 GPT-6 Sol 和 Claude Opus 5.5，包括单兵作战和团队协作两种模式，并设置了两种推理级别：中等推理投入和最大推理投入。团队的成本比单个智能体高出 1.8 倍到 5.1 倍。
在团队与单兵智能体的四项对比中，只有一项显示出统计学上的显著提升：在中等推理设置下的 GPT-6 Sol，团队得分高出 7.3 分。在最大推理设置下，团队模式既没有给 Sol 也没有给 Opus 5.5 带来任何真正的优势。结果表明，在大多数情况下，智能体团队的额外成本并不划算，尤其是当模型已经在满算力下运行时。
Anthropic 在使用 Opus 5.5 进行的两项内部测试中发现，随着智能体数量增加，质量提升在逐渐缩小。更大的团队可以更快达到既定性能水平，但在 24 小时后，从 10 个增加到 100 个智能体只会让得分略微上升。在另外的 ProgramBench 测试中，速度的提升伴随着更高的 token 消耗。
| 使用 Opus 5.5 的任务 | 1 个智能体 | 10 个智能体 | 30 个智能体 | 100 个智能体 |
|---|---|---|---|---|
| 知识库 | 0.53 | 0.70 | 0.71 | 0.74 |
| Lean 定理证明 | 0.39 | 0.66 | 0.66 | 0.68 |
Fable 5.1 在超过 10 个智能体的 Lean 定理证明任务中展现出更强的质量提升，但在所有测试中的得分仍低于 Opus 5.5。在知识库任务中，当规模从 30 个扩展到 100 个智能体时，Fable 的得分实际上略有下降。
更多的智能体买到的是速度，而不是更好的产出
OpenAI 研究员 Noam Brown 在 Dwarkesh Podcast 中证实，多智能体系统主要买到的是速度，而不是更好的质量。四个智能体完成任务的速度快了一倍，但成本也高了一倍。到了 16 个智能体时，这一规律依然成立，但效率略微下降。
这种效应在很大程度上取决于任务本身。他说，网络搜索和数学计算可以很好地并行化，但写小说不行。用 10,000 个智能体去写一部小说，就像用 10,000 个人去写一样毫无意义。Brown 承认，扩展到极大规模的智能体数量在很大程度上仍是未知领域，因为成本实在太高了。
OpenAI 开发者 Eric Provencher 最近正是出于这个原因警告不要使用智能体集群。他认为这极有可能是在浪费钱，因为智能体之间的协作会崩溃。他将其称为协作税。
没有炒作的 AI 新闻 – 由人工精选
订阅 THE DECODER，即可享受无广告阅读、每周 AI 时事通讯、每年六期的独家 "AI Radar" 前沿报告、完整档案访问权限，以及我们的评论区使用权。
- 访问 THE DECODER 上的每一篇文章的完整权限
- 无广告
- 参与评论和社区讨论
- 每周通过邮件接收 AI 新闻回顾
- 每年 6 期："AI Radar"——深入探讨最重要的 AI 话题
- 每日 AI 新闻，始终保持更新
- 我们完整的十年档案
- 由在 AI 领域拥有 10 多年经验的团队打造
来源：The Decoder · the-decoder.com