量子位· 闻乐·· 6 天前精选AI 评分83
字节 Seed 团队找到 DeepSeek 时强时弱的原因
字节找到了DeepSeek时强时弱的原因
AI 导读
字节 Seed 团队发现 DeepSeek-V4 的检索准确率随信息在输入中的位置以 4 个 Token 为周期变化,128K 长上下文测试中同一条信息仅换位置最多相差 40.2 个百分点。
推荐理由
原文揭示了分块 KV Cache 压缩会带来与压缩步长同周期的检索弱点,并给出按相位分别评测的方法。
来源:量子位 · qbitai.com