Scale AI 因审计发现基准可被钻空子，从 SWE-Bench Pro 删除 89 项任务

Scale AI 将 SWE-Bench Pro 公共任务集从 731 项缩减至 642 项，删除 89 项被判定无效的任务，并锁定评估运行时。此前独立预印本发现该基准存在奖励黑客与金方案泄漏等问题，5 月审计测出评分器拒绝 24% 的正确补丁。Scale 重写了 529 条问题描述，但发布门记录由公司自测，而其客户同时包括上榜实验室与军方。