Hex 如何用 evals 将 AI 功能错误率降低 7 倍

Hex 用 eval 驱动其 Quick Edits 功能的开发，将错误编辑率从 21% 降到 3%。团队构建了 1800 多个 eval 用例并保留约 40% 作为 holdout 防止过拟合，发现超过一半的爬坡改进来自验证器而非提示词。完整跑一轮 18000 次尝试在 Luna 上成本不到 10 美元、几分钟完成，使 eval 可以在每次改动后运行。