跳到正文

多模态

文本之外的能力:视觉理解、图文混合、音视频输入输出的模型与产品进展。

最新精选

第 1–20 条 · 共 93 条
10月14日周三
  1. Latent Space83

    AINews:AI Engineer NYC 大会举行,Gemini 4 Argon 正式发布并经多机构评测

    Gemini 4 Argon 正式全球发布,面向编码、知识工作、企业工作流与网络防御,可通过 Gemini API、Gemini 应用、AI Mode 与 Antigravity 获取。

    推荐理由:本期汇总 Gemini 4 Argon 正式发布后的独立评测、定价与部署细节,并收录同周 Anthropic、Meta 等厂商动态,便于横向比较能力与成本。

  2. 量子位78

    面壁开源 MiniCPM-V 4.7:35B MoE 模型仅需 3G 内存即可在 iPhone 断网运行

    面壁智能与 OpenBMB 正式开源 MiniCPM-V 4.7,包含 35B-A3B 与 1B 两个版本。35B-A3B 为系列首个 MoE 模型,每次推理仅激活 3B,约 3G 内存即可在 iPhone 17 Pro Max 上断网流畅运行,解码速度超每秒 13 token。模型通过前瞻专家调度提前预取专家、混合精度量化压缩权重,并以自回放微调减少业务定制后的通用能力遗忘。

    推荐理由:原文实测了35B MoE模型在手机端的运行效果,并详解了前瞻专家调度等让大模型在低内存设备上跑快的关键技术。

10月13日周二
  1. InfoQ 中国81

    Meta 发布 Muse Wonder 系列模型,Alexandr Wang 亲述 Muse 七个月翻身内幕

    10 月 12 日,Meta 发布新一代 Muse Wonder 系列,包含 Muse Wonder 和 Muse Wonder Full,明确指向个人和专业 Agent,核心能力被概括为主动记忆和主动专注。

    推荐理由:原文把 Muse Wonder 的规格、定价与多项对照评测放在一起,读者可看出 Meta 以主动记忆和长程执行卡位个人 Agent 的思路。

  2. Latent Space83

    Meta 发布 Muse Wonder 与 Muse Wonder Full 模型家族

    Meta 超级智能实验室(MSL)发布第二代模型家族 Muse Wonder 与 Muse Wonder Full,定位个人与专业智能体工作。Wonder 通过 Meta Model API 和 Muse Code 开放,Wonder Full 仅向 Muse Code 订阅用户提供,定价为每百万 token 输入 $4、输出 $20,上下文窗口 1M。

    推荐理由:汇总了 Muse Wonder 的发布详情与第三方评测数据,可据此横向对比它与 Opus 5.5、GPT-6 Astra 的能力与价格。

  3. The Decoder76

    Meta 新前沿模型 Muse Wonder Full 进入 AI 第一梯队

    Meta 发布前沿模型 Muse Wonder 与 Muse Wonder Full,两者均进入 AI 模型第一梯队,在 Artificial Analysis Intelligence Index v4.3 上分别得分 52 与 56,前代 Muse Spark 1.3 为 48 分。

    推荐理由:文中汇总了多机构基准成绩与 token 定价对比,可据此判断 Muse Wonder 系列在第一梯队中的位置、事实知识短板与成本代价。

10月11日周日
  1. 量子位77

    何恺明团队发布多模态Harness框架VISTA

    何恺明团队在论文《VISTA: A Visual Harness for Reasoning in an Interactive World》中提出视觉原生Harness框架VISTA,把环境返回的每一帧原样保存到上下文之外,供模型按需回看、放大和对比,无需额外训练。

    推荐理由:论文提出把原始画面存成可随时回看的视觉档案,让现有多模态模型无需重新训练即可在交互式视觉推理中复用视觉经验。

  2. 阿里云开发者77

    Qwen-Image-2.1 Pro、Turbo API 正式上线,让图像生成与编辑走进你的应用

    Qwen-Image-2.1 Pro 与 Turbo API 正式上线千问AI平台,开发者无需自行部署即可通过 API 接入图像生成与编辑能力,Qwen-Image-2.1-Turbo 模型权重也同步开放。

    推荐理由:官方给出了两款 API 的能力要点与接入入口,开发者可据此判断图像生成与编辑能力怎样融入现有工作流。

10月8日周四
  1. OSCHINA 社区83

    Mistral 发布 1 万亿参数原生多模态模型 Mistral Large 4

    Mistral 发布了 1 万亿参数、520 亿稀疏激活的原生多模态模型 Mistral Large 4,代号 Le Chonk。该模型从零训练,公开预览即日起在 Mistral Studio 上线,权重计划月底发布。

    推荐理由:原文给出了 1 万亿参数、稀疏激活等关键规格和权重开放节奏,读者可据此判断 Mistral Large 4 在多模态模型竞争中的位置。

  2. Hacker News · AI 最新79

    Anshu Chimala:如何把 AI 变成世界级设计师

    Lenny's Newsletter 转发 Anshu Chimala 的长文,系统讲解如何用 AI 智能体做出非同质化的设计。核心方法包括用随机字符串做灵感种子(String Seed of Thought)、让独立的设计评审子智能体反复打分迭代,以及接入图像与视频生成模型补充细节,最后强调做减法比做加法更重要。

    推荐理由:文章把 AI 设计拆成探索、定义与交付三阶段,给出随机字符串种子、设计评审子智能体和图像视频生成等可直接复用的 Prompt。

  3. The Verge · AI84

    ChatGPT 推出 Intelligent UI,回复中可加入图示、图表与可点击按钮

    OpenAI 在 ChatGPT 中推出 Intelligent UI,让回复可以结合图示、图表、表单和可点击按钮等交互式视觉内容。OpenAI 训练了 GPT-6 判断何时生成交互式视觉以及如何排版,GPT-6 同时改进了网页搜索,并能在收集信息时更快给出部分答案。

    推荐理由:原文列出了 Intelligent UI 的交互形式和各版本 GPT-6 的开放节奏,读者可据此判断它对现有对话体验的影响。

  4. The Decoder68

    OpenAI 发布 Decisions API,将复杂评估简化为是/否或单选

    OpenAI 发布 Decisions API,可对文本、图像或两者进行评估,速度约为 Responses API 的十倍,现已进入公开测试。该 API 目前仅支持 gpt-6-luna,输入 token 每百万 $0.10,输出 token 免费,提供是/否概率、预定义类别单选和量表评分三种返回类型,并支持零数据留存和符合 HIPAA 的使用。

    推荐理由:原文列出了 Decisions API 的三种返回类型、定价规则和相对 Responses API 的速度对比,读者可据此判断它能否替代现有工作流中的分类与评测环节。

10月7日周三
  1. Google DeepMind66

    Google DeepMind 发布 EmbeddingGemma 2:开源轻量级多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,一款开源轻量级的多模态嵌入模型,可将文本、图像、音频与视频统一映射到单一嵌入空间。模型基于 Gemma 4 架构,参数量 740M,采用 Apache 2.0 许可,专为端侧推理优化,支持 8K token 上下文窗口。

    推荐理由:原文给出了多模态嵌入与端侧资源占用的具体指标,读者可据此评估离线 RAG 管线的可行性。

10月6日周二
  1. The Decoder78

    Mistral 发布万亿参数大模型 Mistral Large 4,主攻网络安全任务

    Mistral 发布迄今最大模型 Mistral Large 4(ML4,昵称 le Chonk),总参数约 1 万亿、活跃参数 49B,为原生多模态模型,API 现已通过 Mistral Studio 开放,权重预计 10 月底发布。

    推荐理由:原文并列了 ML4 与 Claude Opus 5.5、GPT-6 Astra 在智能指数、编码和安全测试上的差距,读者可据此判断其真实定位。

  2. TechCrunch · AI65

    Mistral AI 发布 1T 参数模型 Mistral Large 4,旨在超越闭源与开源对手

    Mistral AI 于周二发布 Mistral Large 4(ML4),一款 1T 参数的多模态大模型,昵称 Le Chonk,被定位为美国闭源模型与中国开源模型之外的第三条道路。

    推荐理由:原文给出 ML4 在闭源与中国开源模型之间的定位与自有算力投入对比,读者可据此判断欧洲开源路线的竞争力。

  3. The Decoder65

    Reka AI 发布全模态模型 Rho-1:单一模型处理文本、图像、视频与机器人控制

    Reka AI 发布了 Rho-1 的研究预览版,这款 190 亿参数的全模态模型在单一神经网络中处理并生成文本、图像、视频和机器人控制动作。与多数将任务路由到专用模型的系统不同,Rho-1 把所有模态作为 token 放进同一共享上下文窗口,无需工具调用或外部模型,并能实时生成连续视频、即时响应新指令。

    推荐理由:原文给出单一模型统一处理多模态与机器人控制的思路,以及从普通视频提取控制信号的数据方案,可对照自家多模态路线。

10月4日周日