Parsimony:衡量 AI 模型新增代码量的开源基准
Parsimony 是一个开源基准,专门衡量 AI 模型在已解决任务上新增了多少代码。它直接复用 SWE-bench Verified 已发布的 patch 与通过/失败结果,解析每个改动文件的新旧版本,统计语句、调用、比较、名称和字面量等编码单位,按净新增单位(新增减删除)的均值排名,越少越靠前。
Parsimony 是一个开源基准,专门衡量 AI 模型在已解决任务上新增了多少代码。它直接复用 SWE-bench Verified 已发布的 patch 与通过/失败结果,解析每个改动文件的新旧版本,统计语句、调用、比较、名称和字面量等编码单位,按净新增单位(新增减删除)的均值排名,越少越靠前。
Cognition 构建了编程评测基准 FrontierCode,以真实开源仓库维护者是否会合并代码来评估 AI 智能体的改动质量。在 FrontierCode 1.1 Main 的 100 个任务中,Claude Opus 5.5 (max with fallback) 以 52% 的平均分和 58% 的通过率领跑,领先模型仍有超 40% 的尝试失败。
本文探讨 AI 在软件生产流程中遇到的瓶颈。原文目前仅发布了 PDF 链接,尚未提供可提取的具体模型、数据或结论细节。
哈佛大学研究人员分析 700 多家软件公司、2021 年至 2026 年 3 月的 3 亿个工作事件数据发现,几乎没有证据表明企业使用 AI 编码工具后增加了软件产出或减少了就业。编码阶段的效率提升被生产流程的下游约束吸收:代码审查时间显著变长,pull request 更可能需要修改,审查者留下更多评论。
推荐理由:原文用跨数百家公司的数据说明,AI 编码工具的效率增益被人工代码审查瓶颈吸收,读者可据此重新评估其实际产出影响。
AutoCompact 让长程代码智能体将何时压缩上下文、保留哪些工作状态以及之后如何继续纳入自身策略,并由 judge 修正错误压缩决策,再通过 SFT 与 RL 联合优化编码与压缩。
ProjectDiscovery 研究人员通过污染训练数据在 Qwen2.5-7B-Instruct 模型中植入后门,触发词出现时模型会读取 .env 文件并外泄凭证。该攻击在单张 L4 GPU 上耗时约 2.5 小时、成本不足 50 美元,且模型能通过所有常规基准测试。研究建议通过隔离网络访问与命令执行、加强运行时权限控制来防御此类威胁。
一篇 PDF 格式的文章,探讨测试驱动开发(TDD)在 AI 时代的实践方式,讨论 AI 辅助开发背景下 TDD 流程如何调整与适用。
GitHub 构建并公开了 ReviewBench,一个面向 AI 代码审查智能体的离线基准。它基于 103.9M 个 GitHub pull request 的语言与仓库规模分布,包含来自 187 个开源仓库的 219 个 PR、覆盖 19 种语言,使用 Claude Sonnet 5 作为判官并公开评测规则,高级工程师独立标注与基准一致率达 96.6%。
推荐理由:GitHub 公开了基准数据集、评测方法与提交入口,读者可据此评估自己的代码审查智能体并横向对比不同系统。
Li 等人提出的 LEGO-Anything 让编码智能体根据单张照片迭代编写可执行的 Blender 程序,输出可编辑、可查询的 3D 场景。配套基准 LEGO-Bench 用 104 个场景的 208 张图像与 443 个注册资产打分,表现最好的 GPT-6 Astra 室内场景得 53.4%、室外 39.6%。
腾讯混元团队联合清华大学、北京大学的研究者提出网页生成评测基准 WebCraftBench,让智能体实际操作网页、用代码覆盖率查漏,再从美观度、易用性和需求符合度三个维度打分。
腾讯科恩实验室推出二进制分析平台 BinaryAI 并发布 BinaryAI-Bench 评测集,通过两轮各 8 个模型×50 个任务的系统评测校准 AI 逆向分析能力。评测集收录 5 大类 18 个子类共 50 个端到端任务,真实来源样本占 94%,难度从 easy 到 expert 四级。评测显示当前 AI 的硬边界集中在跨变种共同行为特征提取与复杂算法精确逆向两个方向。
OpenAI 的 B2B Signals 研究揭示前沿企业正通过深化 AI 采用、规模化基于 Codex 的智能体工作流来扩大领先优势。这些企业借此建立起持久的竞争优势。
OpenAI 与太平洋西北国家实验室联合推出评测基准 DraftNEPABench,评估 AI 编程智能体加速联邦许可审批的潜力。该评测基准显示,AI 有望将 NEPA 草案撰写时间最高缩短 15%,并推动基础设施审查现代化。
OpenAI 与 Paradigm 联合发布 EVMbench。该 benchmark 用于评估 AI 智能体检测、修补及利用高危智能合约漏洞的能力。
OpenAI 发布 SWE-bench Verified,即 SWE-bench 经人工验证的子集,用于更可靠地评估 AI 模型解决真实世界软件问题的能力。
OpenAI 发表研究,探讨如何高效训练语言模型使其具备中间填充(fill-in-the-middle)能力。