在 Amazon Bedrock 上用 Grok 4.7 构建长周期智能体
AWS 官方博客介绍在 Amazon Bedrock 上用 Grok 4.7 构建工具调用智能体,作者设计三个均有唯一正确答案的任务,在四个推理档位下各跑六次共 72 次运行,答对 67 次,xhigh 档 18 次全部正确。
推荐理由:文章给出了可复用的推理档位评测方法,读者能据此在自己的 Agent 任务上权衡正确率与 token 成本。
AWS 官方博客介绍在 Amazon Bedrock 上用 Grok 4.7 构建工具调用智能体,作者设计三个均有唯一正确答案的任务,在四个推理档位下各跑六次共 72 次运行,答对 67 次,xhigh 档 18 次全部正确。
推荐理由:文章给出了可复用的推理档位评测方法,读者能据此在自己的 Agent 任务上权衡正确率与 token 成本。
Microsoft Research 推出 StudentSim,这是一个在真实学习者测试前评估和改进 AI 辅导系统的研究工具。它从公开的去标识化学习者记录中训练个性化学生模拟器,并引入 StudentSimEval 基准,从行为保真度和指导响应度两个维度进行评估。该系统在棋类、英语二语写作和数学领域优于主流基线,可为 AI 辅导训练提供有用的反馈信号。
Basis 用 GPT-6 Astra 完成包含 50 个工作表的税务工作簿,速度比 GPT-5.6 Sol 快 2 倍。GPT-6 Astra 对用户意图的理解更强,让 Basis 在实际使用中更有信心。
Parallel 借助 GPT-6 Astra,将其智能体研究劳动力市场数据的时间与成本相比之前的模型均降低了一半。GPT-6 Astra 使 Parallel 的智能体能够以一半的时间和一半的成本完成劳动力市场数据的研究与综合。
腾讯程序员 mason 实测了 TypeSafe AI 在 9 月推出的决策模型 Jev,它本质上是分类模型,把当前情况和问题发给它后返回程序可直接使用的结果,没有任何幻觉。
NVIDIA 公布 MLPerf Inference v6.1 结果,Vera Rubin NVL72 首次预览提交即在 DeepSeek-R1 与 Qwen3-VL 上取得领先性能。
腾讯科恩实验室推出 BinaryAI 二进制分析平台,并发布配套评测集 BinaryAI-Bench,通过两轮各 8 个模型 × 50 个任务的系统评测校准 AI 逆向分析能力基线。
Microsoft Research 推出拓扑推理基准 MindTopo,评估多模态模型在连通性、包围、顺序、分离与打结五类拓扑关系上的推理与规划能力。测试显示,当前多模态模型在静态识别任务上表现明显优于交互式规划任务,两者均远低于人类水平,且错误多发生在规划阶段而非感知阶段。该基准为机器人和交互环境中的 AI 系统提供了可控诊断工具。
OpenAI 发布 GeneBench-Pro,这是一个面向基因组学、生物学和科学研究的全新 benchmark。该 benchmark 使用复杂、真实世界的数据集,测试 AI 在这些领域的表现。
OpenAI 发布 LifeSciBench,一个面向生命科学领域的专家级评测基准。该基准由专家撰写并经专家评审,用于评估 AI 系统处理真实世界生命科学研究任务与决策的能力。
腾讯朱雀实验室联合香港中文大学(深圳)吴保元教授课题组发布 SkillTrustBench,这是首个兼顾 Agent Skills 安全可信度与外部扫描方案检测效能的双重评测基准,从 62,652 个 Skill 中提炼 5,520 个评测用例,覆盖九大类威胁。
OpenAI 发布第三方 AI 评估共享指南,阐述如何评估前沿模型的能力、安全护栏与评估有效性。
OpenAI 入选 2026 年 Gartner 企业级 AI 编码智能体魔力象限领导者象限。Codex 因创新能力与企业级规模化部署获得认可。
OpenAI 与太平洋西北国家实验室联合推出评测基准 DraftNEPABench,评估 AI 编程智能体加速联邦许可审批的潜力。该评测基准显示,AI 有望将 NEPA 草案撰写时间最高缩短 15%,并推动基础设施审查现代化。
OpenAI 不再使用 SWE-bench Verified 评估自家模型,理由是该基准污染日益严重,且无法准确衡量前沿编码进展。OpenAI 的分析发现其中存在测试缺陷与训练数据泄漏,并推荐改用 SWE-bench Pro。
OpenAI 公布了其 AI 模型对 First Proof 数学挑战赛的证明尝试,以测试模型在专家级问题上的研究级推理能力。这些证明尝试均由 OpenAI 的 AI 模型生成,围绕该数学挑战赛的专家级问题展开。
OpenAI 与 Paradigm 联合发布 EVMbench。该 benchmark 用于评估 AI 智能体检测、修补及利用高危智能合约漏洞的能力。
Google DeepMind 联合 Kaggle 推出 FACTS Benchmark Suite,新增 Parametric、Search、Multimodal 三项基准并更新 Grounding Benchmark - v2,公开 3,513 道题目。
evals 可帮助企业定义、衡量并改进 AI 性能。这一评估方法可降低风险、提升生产效率,并为企业带来战略优势。
OpenAI 推出全新基准 IndQA,用于评估 AI 系统在印度语言上的表现。该基准与领域专家共同构建,覆盖 12 种语言和 10 个知识领域,重点测试模型的文化理解与推理能力。
OpenAI 提出一套新的真实世界测试方法,用于定义和评估 ChatGPT 的政治偏见,以提升评估的客观性并减少模型偏见。
OpenAI 推出全新评测 GDPval,用于衡量模型在现实世界中具有经济价值的任务上的表现。该评测覆盖 44 个职业。
OpenAI 推出全新医疗 AI 评测基准 HealthBench,用于在真实场景中评估模型表现。该基准由 250+ 名医生参与构建,旨在为健康领域的模型性能与安全性提供共享标准。
昨天,OpenAI Five 在现场观众和 10 万名同步直播观众面前,以三局两胜击败了一支由 99.95 百分位 Dota 玩家组成的队伍:Blitz、Cap、Fogged、Merlini 和 MoonMeander,其中四人曾有职业 Dota 比赛经历。
推荐理由:原文记录了 OpenAI Five 击败高水平 Dota 玩家的赛果,为评估当时游戏 AI 的能力边界提供了参照。
OpenAI Five Benchmark 比赛现已结束。
OpenAI 首届 Retro Contest 已结束,赛事聚焦能从既往经验泛化的算法开发。比赛结果现已公布。
OpenAI 发起 Retro Contest 迁移学习竞赛,衡量强化学习算法从既往经验中泛化的能力。该竞赛聚焦迁移学习,检验算法能否有效利用过往经验。