跳到正文
原文
OpenAI News·· 2026-02-23AI 评分54

OpenAI 为什么不再评估 SWE-bench Verified

Why we no longer evaluate SWE-bench Verified

AI 导读

OpenAI 不再使用 SWE-bench Verified 评估自家模型,理由是该基准污染日益严重,且无法准确衡量前沿编码进展。OpenAI 的分析发现其中存在测试缺陷与训练数据泄漏,并推荐改用 SWE-bench Pro。

来源:OpenAI News · openai.com