SimulacraBench：AI 对人类行为的预测有多准
NeurIPS 2026 竞赛 SimulacraBench 旨在验证 LLM 能否准确预测难以触及人群的行为，评估基于 UNHCR、UNICEF 和世界银行尚未公开的微观数据。
#评测/基准
#评测/基准
今日 0 条Hacker News · AI 最新AI 评分4444 Hacker News · AI 最新AI 评分5656 Parsimony：衡量 AI 模型新增代码量的开源基准
Parsimony 是一个开源基准，专门衡量 AI 模型在已解决任务上新增了多少代码。它直接复用 SWE-bench Verified 已发布的 patch 与通过/失败结果，解析每个改动文件的新旧版本，统计语句、调用、比较、名称和字面量等编码单位，按净新增单位（新增减删除）的均值排名，越少越靠前。
Hacker News · AI 最新AI 评分4646 FrontierCode：AI 模型能写出维护者愿意合并的代码吗？
Cognition 构建了编程评测基准 FrontierCode，以真实开源仓库维护者是否会合并代码来评估 AI 智能体的改动质量。在 FrontierCode 1.1 Main 的 100 个任务中，Claude Opus 5.5 (max with fallback) 以 52% 的平均分和 58% 的通过率领跑，领先模型仍有超 40% 的尝试失败。
Hacker News · AI 最新AI 评分3232 R² Index：全球排名前 80 万的“去水分”AI 研究者榜单
R² Index 发布全球 AI 研究者排行榜，覆盖排名前 80 万的“de-slopped”研究者。该榜单旨在剔除学术署名中的水分，为评估研究者真实产出提供参考。
Hacker News · AI 最新AI 评分3636 AI 玩 Slay the Spire
AI 在 Slay the Spire 的五个场景中完成挑战，包括 Baseline 的平均地图、Cursed Run 的诅咒机制、单战直通 Boss 的 Easy trap，以及 25 个分岔、4,040 条路线的 Dense map。同一批地图还在游戏最难难度 Ascension 20 下由 GPT-6 Astra 以最大努力各跑十局，并记录分数、层数、游戏时长与成本。
Microsoft ResearchAI 评分4949 Microsoft Research 推出 StudentSim：用 AI 学生模拟器改进 AI 辅导
Microsoft Research 推出 StudentSim，这是一个在真实学习者测试前评估和改进 AI 辅导系统的研究工具。它从公开的去标识化学习者记录中训练个性化学生模拟器，并引入 StudentSimEval 基准，从行为保真度和指导响应度两个维度进行评估。该系统在棋类、英语二语写作和数学领域优于主流基线，可为 AI 辅导训练提供有用的反馈信号。
Hacker News · AI 最新AI 评分4040 OpenStocks：面向 AI 智能体的公开盈利预测 benchmark
OpenStocks 是一个面向 AI 智能体的公开盈利预测 benchmark，用于评估智能体对公开股票财报数据的预测能力。该 benchmark 以公开形式发布，可供社区直接使用。
Hacker News · AI 最新AI 评分3434 HashSmash：用于 AI 辅助审查密码分析碰撞声明的 benchmark
HashSmash 是一个兼容 Yukon 的 benchmark，用于 AI 辅助审查密码分析碰撞声明，保留 SHA-256 rounds 31/32 与 37/38、SHA3-256 rounds 5/6 和 BLAKE3 rounds 1/2 共八项探索性注册。
雷峰网AI 评分5757 WorldArena 2.0 挑战赛揭榜，JEPA 与空间智能路线正面交锋
清华团队联合多所高校推出的 WorldArena 2.0 Challenge 揭榜，视启未来 WorldIncept、北京中关村学院 MW2、小米机器人 ViTacX 分获三条赛道第一。
Hacker News · AI 最新AI 评分6161 MIT Media Lab 等机构推出 ImpactBench，首个衡量 AI 对人类影响的开放基准
ImpactBench 是首个衡量 AI 对人类福祉影响的开放基准，由 MIT Media Lab、Psychology of Technology Institute、USC 与 UC Berkeley 的研究者牵头构建。
Hacker News · AI 最新AI 评分4747 Cleer Dashboard：AI 推理到底消耗多少能源？
Cleer Dashboard 应用 CLEER 方法估算闭源 AI 模型的每 token 能耗，基于 2,400+ 次测试和 425 million+ tokens 的公开模型实测，为无法直接测量的专有模型匹配最接近的代理并投影到实测功耗曲线。
Hacker News · AI 最新AI 评分4141 AI Measurement Science：《AI 测量科学》系统构建 AI 评估的度量基础
Stanford 的 Truong 与 Koyejo 撰写《AI Measurement Science》，将 AI 评估重构为推断问题：从观测响应估计推理与安全等潜在属性，而非止于收集数据并计算指标。
Hacker News · AI 最新AI 评分3737 Show HN: HieraticBench —— AI 能读懂古埃及手写体吗？
一位埃及学爱好者构建了 HieraticBench 基准，测试 AI 识别与翻译古埃及僧侣体（hieratic）的能力，当前最强的基础模型依然表现糟糕。首版含 268 个条目；在明确告知文本为僧侣体时，最佳模型在真实文献上识别正确率为 95%，单字识读最佳成绩约 13%，且无一模型能翻译从未公开的句子。
Hacker News · AI 最新AI 评分3636 前沿 AI 模型有多好笑？GPT-6 Astra、Opus 4.5 与 Fable 5.1 笑话能力盲测
一项盲测让 62 名人类评审对 OpenAI 与 Anthropic 六款闭源模型（Haiku 4.5、GPT-5 mini、GPT-5.2、Opus 4.5、GPT-6 Astra、Fable 5.1）生成的原创笑话打分，发现越新、越大的模型越好笑。
Hacker News · AI 最新AI 评分2020 Vals AI：在真实世界任务中测试 AI
Vals AI 在金融、软件、网络安全、递归自我改进与心理健康等经济价值任务上，对全球领先 AI 模型开展独立评估，所有评估均自行运行并自建多项基准。最新报告显示，Claude Opus 5.5 智能体发现了两个室温磁性半导体候选材料。该平台还发布行业排行榜，并追踪 16 个实验室性能前沿的模型表现随时间的变化。
Hacker News · AI 最新AI 评分4444 TaxCalcBench：AI 能替你报税吗？
TaxCalcBench 基准以美国报税表 Form 1040 的形式呈现排行榜，评测前沿 AI 模型能否独立完成报税计算这一步。2025 税务年度版（v2）难度显著升级，输入改为 W-2、1099 等真实 PDF 文档，新增州报税并覆盖更复杂的财务情形，共测试 38 个模型、50 份报税表。评测指标包括严格正确率、±$5 宽松正确率、逐行正确率，以及每份报税的 API 成本与生成时间。
腾讯安全威胁情报中心AI 评分4545 BinaryAI-Bench：面向实战业务的二进制安全分析任务评测集
腾讯科恩实验室推出 BinaryAI 二进制分析平台，并发布配套评测集 BinaryAI-Bench，通过两轮各 8 个模型 × 50 个任务的系统评测校准 AI 逆向分析能力基线。
Microsoft ResearchAI 评分4747 MindTopo 揭示 VLM 的空间推理能力
Microsoft Research 推出拓扑推理基准 MindTopo，评估多模态模型在连通性、包围、顺序、分离与打结五类拓扑关系上的推理与规划能力。测试显示，当前多模态模型在静态识别任务上表现明显优于交互式规划任务，两者均远低于人类水平，且错误多发生在规划阶段而非感知阶段。该基准为机器人和交互环境中的 AI 系统提供了可控诊断工具。
OpenAI NewsAI 评分3030 OpenAI 发布 GeneBench-Pro
OpenAI 发布 GeneBench-Pro，这是一个面向基因组学、生物学和科学研究的全新 benchmark。该 benchmark 使用复杂、真实世界的数据集，测试 AI 在这些领域的表现。
OpenAI NewsAI 评分3838 OpenAI 发布 LifeSciBench
OpenAI 发布 LifeSciBench，一个面向生命科学领域的专家级评测基准。该基准由专家撰写并经专家评审，用于评估 AI 系统处理真实世界生命科学研究任务与决策的能力。
腾讯安全应急响应中心AI 评分6565 腾讯朱雀实验室联合香港中文大学（深圳）发布 Agent 技能安全评测基准 SkillTrustBench
腾讯朱雀实验室联合香港中文大学（深圳）吴保元教授课题组发布 SkillTrustBench，这是首个兼顾 Agent Skills 安全可信度与外部扫描方案检测效能的双重评测基准，从 62,652 个 Skill 中提炼 5,520 个评测用例，覆盖九大类威胁。
OpenAI NewsAI 评分3535 太平洋西北国家实验室与 OpenAI 合作加速联邦许可审批
OpenAI 与太平洋西北国家实验室联合推出评测基准 DraftNEPABench，评估 AI 编程智能体加速联邦许可审批的潜力。该评测基准显示，AI 有望将 NEPA 草案撰写时间最高缩短 15%，并推动基础设施审查现代化。
OpenAI NewsAI 评分4040 OpenAI 与 Paradigm 发布 EVMbench
OpenAI 与 Paradigm 联合发布 EVMbench。该 benchmark 用于评估 AI 智能体检测、修补及利用高危智能合约漏洞的能力。
Google DeepMindAI 评分4545 FACTS Benchmark Suite：系统化评估大语言模型的事实准确性
Google DeepMind 联合 Kaggle 推出 FACTS Benchmark Suite，新增 Parametric、Search、Multimodal 三项基准并更新 Grounding Benchmark - v2，公开 3,513 道题目。
OpenAI NewsAI 评分4444 OpenAI 推出 IndQA 基准
OpenAI 推出全新基准 IndQA，用于评估 AI 系统在印度语言上的表现。该基准与领域专家共同构建，覆盖 12 种语言和 10 个知识领域，重点测试模型的文化理解与推理能力。
OpenAI NewsAI 评分4747 OpenAI 如何定义与评估 LLM 的政治偏见
OpenAI 提出一套新的真实世界测试方法，用于定义和评估 ChatGPT 的政治偏见，以提升评估的客观性并减少模型偏见。
OpenAI NewsAI 评分3838 OpenAI 用 GDPval 衡量其模型在现实世界任务上的表现
OpenAI 推出全新评测 GDPval，用于衡量模型在现实世界中具有经济价值的任务上的表现。该评测覆盖 44 个职业。
OpenAI NewsAI 评分4545 OpenAI 发布 HealthBench 医疗 AI 评测基准
OpenAI 推出全新医疗 AI 评测基准 HealthBench，用于在真实场景中评估模型表现。该基准由 250+ 名医生参与构建，旨在为健康领域的模型性能与安全性提供共享标准。
OpenAI NewsAI 评分3131 OpenAI 首届 Retro Contest 结果公布
OpenAI 首届 Retro Contest 已结束，赛事聚焦能从既往经验泛化的算法开发。比赛结果现已公布。
OpenAI NewsAI 评分4141 OpenAI 发起 Retro Contest 迁移学习竞赛
OpenAI 发起 Retro Contest 迁移学习竞赛，衡量强化学习算法从既往经验中泛化的能力。该竞赛聚焦迁移学习，检验算法能否有效利用过往经验。