跳到正文

#端侧

今日 0 条
10月14日周三
  1. 量子位78

    面壁开源 MiniCPM-V 4.7:35B MoE 模型仅需 3G 内存即可在 iPhone 断网运行

    面壁智能与 OpenBMB 正式开源 MiniCPM-V 4.7,包含 35B-A3B 与 1B 两个版本。35B-A3B 为系列首个 MoE 模型,每次推理仅激活 3B,约 3G 内存即可在 iPhone 17 Pro Max 上断网流畅运行,解码速度超每秒 13 token。模型通过前瞻专家调度提前预取专家、混合精度量化压缩权重,并以自回放微调减少业务定制后的通用能力遗忘。

    推荐理由:原文实测了35B MoE模型在手机端的运行效果,并详解了前瞻专家调度等让大模型在低内存设备上跑快的关键技术。

10月9日周五
10月8日周四
10月7日周三
  1. Google DeepMind66

    Google DeepMind 发布 EmbeddingGemma 2:开源轻量级多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,一款开源轻量级的多模态嵌入模型,可将文本、图像、音频与视频统一映射到单一嵌入空间。模型基于 Gemma 4 架构,参数量 740M,采用 Apache 2.0 许可,专为端侧推理优化,支持 8K token 上下文窗口。

    推荐理由:原文给出了多模态嵌入与端侧资源占用的具体指标,读者可据此评估离线 RAG 管线的可行性。

10月5日周一
  1. Simon Willison38

    Qwen3.8 27B 英文单词加法测试

    Simon Willison 在 DGX Spark 上测试了 Qwen3.8-27B-Q4_K_M.gguf 的英文单词加法能力。禁用推理时,5,070 个测试的数值准确率仅 23.57%,随操作数位数增加从 97.04% 降至 6.44%,格式合规率为 96.17%。开启中等推理后,169 次单次测试中答对 167 次,准确率大幅提升。

9月30日周三
8月26日周三
8月12日周三
  1. Google DeepMind85

    Google DeepMind 发布 SL2T 手语转文本模型,登陆 Pixel 11 的 Gboard 与 Live Transcribe

    Google DeepMind 发布大规模多语言手语转文本模型 SL2T,让手语 AI 首次走出实验室进入消费级产品:SL2T 驱动 Pixel 11 上 Gboard 与 Live Transcribe 的手语转文字功能,首发支持美国手语(ASL)转英语,更多设备与语言将陆续跟进。

    推荐理由:SL2T 以姿态关键点而非原始视频做端到端翻译,并进入 Gboard 与 Live Transcribe,可看作无障碍交互从实验室走向消费级产品的样本。

7月28日周二
  1. Google DeepMind74

    Google DeepMind 发布 Gemini Robotics 2:为机器人带来全身智能

    Google DeepMind 发布 Gemini Robotics 2,通过三个模型为机器人带来全身智能、灵巧操作和多机协同能力。该系统可控制完整人形机器人执行耗时数分钟的多步任务,ER 2 推理模型已在 Google AI Studio 上线,On-Device 2 端侧模型仅需几小时即可适配新本体。

    推荐理由:官方公布了全身控制、灵巧操作与多机协同能力,并给出端侧几小时适配新本体的指标,适合评估具身智能进展。

7月12日周日
  1. 阶跃 StepFun · 官方公众号63

    阶跃发布 Step Edge 端侧模型全家桶

    阶跃发布端侧模型家族 Step Edge,包含基础模型、Step Edge Audio、Step Edge GUI 和 Step Edge Gen,面向手机、汽车等终端场景。该系列支持低至 0.1 秒的端侧本地 toolcall 执行,多模态信息可在本地处理以保护隐私,并配套自研 Step Inference NPU 引擎优化推理延迟。官方称其在 29 项核心评测指标中取得第一。

6月9日周二
  1. Google DeepMind80

    Google DeepMind 发布 Gemma 4 12B:统一的无编码器多模态模型

    Google DeepMind 发布 Gemma 4 12B,一款可在笔记本本地运行的多模态模型。该模型采用无编码器统一架构,视觉与音频输入直接进入 LLM backbone,仅需 16GB VRAM 或统一内存即可运行,性能接近 26B MoE 模型。它是该系列首款支持原生音频输入的中型模型,已采用 Apache 2.0 许可证开源。

    推荐理由:官方给出了 16GB 内存即可本地运行的规格,以及与 26B MoE 模型的性能对比,便于开发者评估端侧部署方案。

4月3日周五
  1. Google DeepMind85

    Google DeepMind 发布 Gemma 4 开源模型

    Google DeepMind 发布 Gemma 4 系列开源模型,包含 E2B、E4B、26B MoE 和 31B Dense 四种规格。该系列与 Gemini 3 同源,采用 Apache 2.0 许可证,31B 模型在 Arena AI 排行榜位列开源模型第三。模型支持多模态、长上下文及智能体工作流,E2B 和 E4B 专为移动和 IoT 设备设计。

    推荐理由:Google DeepMind 发布与 Gemini 3 同源的 Gemma 4 开源模型,读者可据此对比开源与闭源模型在端侧与智能体场景的能力边界。