跳到正文

部署工程

把模型跑起来的工程实践:推理优化、显存与成本、Serving 架构与基础设施选型。

最新精选

第 1–20 条 · 共 48 条
10月14日周三
  1. 爱范儿82

    Anthropic 用自研版本控制系统 Scion 替换内部 Git

    Anthropic 用自研的代码版本控制系统 Scion 替换了内部沿用多年的 Git,并把整个单体仓库迁移过去。今年 5 月到 9 月,公司日均代码合并量从约 2500 次涨到 30000 次,Git 的去中心化设计成为瓶颈。

    推荐理由:原文把 Git 为断网人类设计的假设与 AI 智能体永远在线的特性放在一起对比,读者能看清代码产量暴涨后基础设施的改造思路。

  2. Simon Willison65

    Anthropic 重新设计源码控制系统,自研 Scion 应对每日超过 3 万次代码合并

    Anthropic 在博文中分享了自研 Git 替代方案 Scion 的原因与做法:2026 年 5 月日均合并约 2500 次代码变更,到 9 月已超过每日 3 万次,迫使他们改造基础设施。

    推荐理由:Anthropic 用自研集中式源码系统替代 Git 的规模数据,可帮助读者判断 AI 编码提速对工程基础设施的压力。

  3. AWS Machine Learning Blog78

    在 Amazon Bedrock 上用 Grok 4.7 构建长周期智能体

    AWS 官方博客介绍在 Amazon Bedrock 上用 Grok 4.7 构建工具调用智能体,作者设计三个均有唯一正确答案的任务,在四个推理档位下各跑六次共 72 次运行,答对 67 次,xhigh 档 18 次全部正确。

    推荐理由:文章给出了可复用的推理档位评测方法,读者能据此在自己的 Agent 任务上权衡正确率与 token 成本。

10月13日周二
  1. InfoQ 中国77

    Anthropic 上线 Claude 动态工作流,由 Claude 生成编排程序协调多 Agent

    10 月 9 日,Anthropic 为 Claude Managed Agents 上线 Beta 版 Dynamic Workflows(动态工作流),由 Claude 根据任务需求生成编排程序,在后台启动子 Agent、传递结果并推进后续任务,主 Agent 无需参与每次任务交接。

    推荐理由:文章对比了动态工作流与传统子 Agent 委派机制的差异,并列出累计 1000 个 Agent、并发 64 个线程等执行边界,便于开发者评估适用场景。

  2. 量子位76

    Anthropic发布ARA安全研究:GLM-5.2实测端到端自主复制,可蔓延至廉价智能家电

    Anthropic研究员William Zhou和Daniel Freeman发布自主复制与适应(ARA)安全研究:GLM-5.2在隔离网络中端到端完成自我复制,5次实验中4次攻陷并部署全部8台GCP节点,另1次拿下7台。

    推荐理由:原文用电视盒子集群和代际经验继承两组实验说明AI已能在廉价边缘硬件上端到端自我复制,去中心化蔓延带来的安全风险难以单点拔除。

  3. The Decoder68

    微软计划到 2027 年将自研 Maia AI 芯片扩展至吉瓦级规模

    微软计划从 2027 年起以多吉瓦级规模部署 Azure Maia AI 芯片,使其成为旗下产品的主力推理系统。Maia 200 已在美国、欧洲和澳大利亚运行 Microsoft Copilot,GitHub Copilot 和 Foundry 将于年底跟进。

    推荐理由:原文给出 Maia 200 已承载 Copilot 的地区与 Maia 300 的能效、机架扩展目标,便于对比微软自研算力与主流 GPU 的投入产出。

10月12日周一
  1. Hacker News · AI 最新78

    Show HN:我做了 Airlock,把 AI agent 关进沙箱并看清它做了什么

    作者 simonmaddox 发布 Airlock:在 macOS 虚拟机里运行 Claude Code 或 Codex,agent 只能碰到项目副本,改动的文件以 diff 形式返回,由你勾选后才应用到真实项目,还能随时撤销。

    推荐理由:原文把它与 Docker Sandboxes 做了明确对比,并列出工具做不到的事,读者可以据此判断是否要把它加进现有的 agent 工作流。

10月10日周六
  1. Hacker News · AI 最新76

    Ariodb:可检查并撤销 AI 智能体数据库操作的安全代理

    Rooz Jalali 发布 Ariodb 0.1.0,一个位于 AI 智能体与数据库之间的安全代理,支持 Postgres 14 至 18、MySQL 8.4、MariaDB 11.4 与 ClickHouse。

    推荐理由:原文列出智能体直接操作数据库的三类失控场景,并说明代理自身判断不能充当防线,可迁移到自建 Agent 的权限与审计设计。

10月9日周五
  1. AWS Machine Learning Blog63

    Amazon Bedrock、AgentCore 与 Strands 发布 2026 年 9 月更新汇总

    本文汇总了 2026 年 9 月 Amazon Bedrock、AgentCore 与 Strands 的更新。Amazon Bedrock 新增 GPT-6 Astra、Kimi K3 与 Grok 4.6 等模型,并推出 OpenAI 驱动的托管智能体预览版;AgentCore 运行时降低冷启动延迟;Strands 发布节省 28% token 的开源智能体框架及 2B 参数决策模型。

    推荐理由:原文汇总了 Amazon Bedrock、AgentCore 与 Strands 在 2026 年 9 月的功能更新,适合需要了解 AWS 智能体生态最新进展的开发者。

10月8日周四
  1. Microsoft Research61

    Agent Lightning v1.0 发布:约 3500 行的轻量级智能体 RL 训练框架

    微软亚洲研究院发布开源框架 Agent Lightning v1.0,让部署时使用的 agent harness 通过 LLM 代理直接参与强化学习,无需在训练框架内重新实现 agent。

    推荐理由:框架让部署用的 agent harness 直接参与 RL 训练,省去在训练框架内重建 agent 的成本,并给出可复现的编码智能体训练流程。

10月7日周三
  1. TechCrunch · AI69

    AI 计算初创公司 Lambda 计划在 IPO 前融资 $4B

    据《华尔街日报》,云服务商 Lambda 正以 $14.5B 投前估值融资最多 $4B,由 Coatue Management 与 Blackstone 领投,或成为其计划 2027 年 IPO 前的最后一轮私募融资。

    推荐理由:原文拆解了 Lambda 积压订单中 Anthropic 单笔 $35B 承诺的占比,读者可据此判断其估值对单一客户付款能力的依赖程度。

10月6日周二
  1. The Decoder78

    Mistral 发布万亿参数大模型 Mistral Large 4,主攻网络安全任务

    Mistral 发布迄今最大模型 Mistral Large 4(ML4,昵称 le Chonk),总参数约 1 万亿、活跃参数 49B,为原生多模态模型,API 现已通过 Mistral Studio 开放,权重预计 10 月底发布。

    推荐理由:原文并列了 ML4 与 Claude Opus 5.5、GPT-6 Astra 在智能指数、编码和安全测试上的差距,读者可据此判断其真实定位。

  2. The Decoder67

    Cohere 将 North 2 定位为兼容任意模型的企业级 AI 控制中心

    Cohere 推出企业级平台 North 2,将其打造为可自主执行多步工作流、跨会话保留上下文的 AI 智能体控制中心。该平台模型无关,除 Cohere 自家的 Command A+ 外也支持接入企业自有模型,可本地、云端或完全隔离部署,管理员可通过 North Admin 管理 token 用量与访问权限,关键操作需先经人工批准。

    推荐理由:原文点明了 North 2 的模型无关与本地化隔离部署能力,并指出其与 Aleph Alpha 瞄准同一批政企客户。

  3. Simon Willison66

    Anthropic Cowork 将模型推理与 VM 迁至云端运行

    Anthropic 员工 Felix Rieseberg 表示,Cowork 新版本把模型推理和 VM 都改为在云端运行,每个会话获得独立沙箱、互不共享状态。旧版本在用户本地运行 Anthropic 提供的 VM,带来磁盘、电池和性能开销,且合上笔记本工作就会中断;新版本改由桌面应用负责文件访问等设备端工具调用,从而支持手机端使用、让任务持续运行。

    推荐理由:原文清楚解释了 Cowork 把 VM 从本地迁到云端的取舍与原因,做 Agent 执行环境设计时可对照参考。

  4. AWS Machine Learning Blog67

    智谱 GLM 5.3 现已在 Amazon Bedrock 上可用

    智谱(Z.ai)的 753B 参数混合专家模型 GLM 5.3 现已上线 Amazon Bedrock,面向编码与长程智能体任务优化,官方称发布时在 CyberGym 基准上取得 84.5 分、内部编码基准较 GLM 5.2 提升 50%。

    推荐理由:原文给出了从 API 调用到显式提示词缓存再到 Strix 安全测试的完整上手路径,可直接复用到自己的编码与智能体工作流。

  5. AWS Machine Learning Blog61

    Amazon SageMaker 发布 aws-ai-ml 技能,为编码智能体提供生成式 AI 推理优化能力

    Amazon SageMaker AI 通过 Agent Toolkit for AWS 推出 aws-ai-ml 技能,让 Kiro、Claude Code、Codex 等支持 MCP 的编码智能体获得推理优化与基准测试能力。

    推荐理由:文章给出一条可迁移路径,用 aws-ai-ml 技能让现有编码智能体承担端点基准测试、实例选型与部署配置推荐。

10月3日周六
  1. 量子位66

    DeepSeek弹性计算团队扩招,资深工程师岗位大量开放

    DeepSeek弹性计算团队放出大量招聘HC,重点招募资深工程师。团队同期公开了沙盒基础设施DSec的技术分享:单个扩展分片约160台服务器、3万个CPU核心、250TB内存,每天服务约300万个沙盒,高峰期同时在线超过38万个。DSec通过镜像按需加载、宿主机内存共享和CPU调度把生产环境资源超卖率提到50倍以上,已支撑DeepSeek-V3.2到V4.1的Agent训练、评测和数据预处理。

    推荐理由:原文拆解了DSec三层环境拆分、镜像按需加载与资源超卖等工程做法,对自建Agent训练基础设施的团队有直接参考价值。

  2. 通义千问 · 官方博客66

    Qwen3Guard 发布:支持实时逐词安全检测的护栏模型

    通义千问发布 Qwen3Guard 护栏模型,基于 Qwen3 架构针对安全分类任务微调,提供 Qwen3Guard-Gen 与 Qwen3Guard-Stream 两个版本,均有 0.6B、4B、8B 三种参数规模。

    推荐理由:官方给出逐词流式检测的实现路径与三级风险标签设计,读者可据此评估将其接入现有安全审核流程的可行性。