腾讯技术工程·· 23 天前AI 评分46
腾讯 15 年资深后台工程师,转战大模型推理的抉择
腾讯15年资深后台工程师,转战大模型推理的抉择
AI 导读
腾讯一位工作 15 年的资深搜索后台工程师,2025 年初卸下管理头衔加入 AI Infra 团队,从零开始投身大模型推理工程,并精读 SGLang 源码。他建议新人先建立 Transformer 模型结构与 TTFT、TPOT、QPS 等评估指标的体系化认知,再按业务层、调度层、算子层分层拆解,并围绕 PD 分离、分布式 KV Cache、推测解码等方向深入实践。
来源:腾讯技术工程 · mp.weixin.qq.com