跳到正文

#多模态

今日 0 条
10月11日周日
  1. 阿里云开发者77

    Qwen-Image-2.1 Pro、Turbo API 正式上线,让图像生成与编辑走进你的应用

    Qwen-Image-2.1 Pro 与 Turbo API 正式上线千问AI平台,开发者无需自行部署即可通过 API 接入图像生成与编辑能力,Qwen-Image-2.1-Turbo 模型权重也同步开放。

    推荐理由:官方给出了两款 API 的能力要点与接入入口,开发者可据此判断图像生成与编辑能力怎样融入现有工作流。

10月7日周三
  1. Google DeepMind66

    Google DeepMind 发布 EmbeddingGemma 2:开源轻量级多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,一款开源轻量级的多模态嵌入模型,可将文本、图像、音频与视频统一映射到单一嵌入空间。模型基于 Gemma 4 架构,参数量 740M,采用 Apache 2.0 许可,专为端侧推理优化,支持 8K token 上下文窗口。

    推荐理由:原文给出了多模态嵌入与端侧资源占用的具体指标,读者可据此评估离线 RAG 管线的可行性。

10月5日周一
10月3日周六
  1. Kimi · 官方博客78

    Kimi 发布开源模型 K2.5,强化视觉编码与多智能体并行执行能力

    Kimi 发布开源模型 Kimi K2.5,在 K2 基础上继续预训练约 15T 视觉与文本混合 token,主打编码、视觉与自主导航的 Agent Swarm。K2.5 可自动编排最多 100 个子智能体、执行最多 1,500 次工具调用的并行工作流,相比单智能体设置最多缩短 4.5 倍执行时间。模型已通过 Kimi.com、Kimi App、API 与 Kimi Code 开放使用。

    推荐理由:原文给出了 K2.5 的多模态预训练规模与 Agent Swarm 并行调度机制,读者可据此判断其在复杂任务上的执行效率优势。

  2. Kimi · 官方博客55

    月之暗面(Kimi)发布并开源 WorldVQA 视觉世界知识基准

    月之暗面(Kimi)团队发布并开源 WorldVQA 基准,用于评测多模态大模型在原子视觉世界知识上的事实准确性。数据集含 3500 组图像问答对,覆盖 9 个类别并区分头部与长尾知识;实验显示前沿模型在长尾视觉知识上准确率常低于 50%,且普遍过度自信,其中 Kimi-K2.5 的 ECE 为 37.9%、Slope 为 0.550,表现最好。

  3. MiniMax · 官方新闻79

    MiniMax 发布全模态生成模型 H3

    MiniMax 正式发布通用全模态生成模型 H3,支持多模态上下文统一理解,可输出最高 15s 2K 分辨率的原生双声道音视频。该模型在指令遵循、文字与品牌信息呈现及 V2V Motion Transfer 等方面表现出色,2K 分辨率下每秒价格不到主流模型的 1/3。官方计划在未来几天内开放模型权重,以推动开源社区发展。

    推荐理由:MiniMax 发布全模态生成模型 H3,支持 15s 2K 原生双声道音视频,计划开放权重,为多模态创作提供了新的高性价比选项。

9月29日周二
  1. Microsoft Research66

    微软研究院推出面向生物学复杂性的 AI 研究系统 Quine

    微软研究院发布 Quine,一个整合生物学多模态世界模型与交互式 harness 的 AI 研究系统,可跨序列、结构、功能、细胞状态与影像数据联合学习表示。研究团队与 Broad Institute 合作,用 Quine 预测并优先排序可驱动胰腺癌 PDAC 肿瘤细胞状态转变的化合物,多个排名靠前的候选已在湿实验中得到验证,整个筛选过程仅用一个周末。

    推荐理由:微软研究院展示了多模态生物世界模型在胰腺癌细胞状态筛选中的湿实验验证,读者可看到 AI 如何介入实验设计闭环。

9月24日周四
  1. 腾讯混元 · 官方公众号63

    腾讯混元发布腾讯 Hy 翻译 APP,基于 Hy-MT2 支持 33 种语言互译

    腾讯混元推出腾讯 Hy 翻译 APP,基于 Hy-MT2 翻译模型打造,支持 33 种语言互译,覆盖 5 种中国少数民族语言及方言。APP 提供语音翻译、拍照翻译与离线翻译,离线模式可提前把模型下载到手机,在无网络或信号差时稳定使用;现已在美国、日本、韩国、新加坡等 12 个国家和地区上线,并同步支持小程序、插件和 PC 端,搜索“腾讯混元翻译”即可体验。

9月23日周三
  1. Google DeepMind77

    Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS 语音模型

    Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型。前者侧重深度创意指导,支持自然语言生成定制声音、30秒语音复刻与逐句表演控制;后者面向高并发、低成本的规模化应用。

    推荐理由:原文清晰对比了两款新 TTS 模型的定位与功能,并给出基准表现与安全机制,便于开发者评估选型。

9月21日周一
  1. 字节跳动技术团队56

    火山引擎 AI MediaKit 如何实现视频字幕无痕擦除

    火山引擎推出 AI MediaKit 理解式视频编辑引擎,升级视频字幕擦除能力。系统先通过多模态语义理解判断文字角色,决定擦除或保留,再由自研 ReFM 残差流匹配模型从原视频潜变量出发完成 4 步采样修复,避免从随机噪声重建带来的失真。新版支持 50 多种语种擦除,面向短剧出海与素材复用场景。

9月20日周日
9月17日周四
  1. 字节跳动技术团队37

    日志服务 TLS AgentLoop:让多模态调用清晰可见

    火山引擎日志服务 TLS AgentLoop 支持多模态内容展示,开发者可在消息和调用节点中直接查看图片,并与提示词、模型输出、工具结果沿同一条链路分析。媒体不再以 Base64 混入日志,而是由插件上传至对象存储 TOS 并在原消息位置写入媒体引用,避免日志超长截断与高存储成本。接入覆盖 Agent 运行时附件、客户自有 TOS 私有资源与 GenAI 标准多媒体消息三种来源。

9月14日周一
  1. 阿里云开发者77

    DeepSeek-V4.1-Flash上线千问AI平台,API与Token Plan同步开放

    DeepSeek-V4.1-Flash正式上线千问AI平台,API服务与Token Plan同步开放,开发者可在Qoder、千问APP、Codex等工具中调用。模型原生支持文本与图像理解,最长支持100万Token上下文,可用于代码开发、长文档处理、视觉理解和智能体任务。借助新一代缓存压缩技术,其HBM需求降至上一代模型的1/4、SSD存储需求降至1/8,部署基于vLLM开源社区适配完成。

    推荐理由:原文列出了模型的多模态能力、100万Token上下文与存储需求降幅,读者可据此评估长上下文场景的部署成本。

9月11日周五
  1. 阿里云开发者72

    阿里云Token Plan个人版升级:加量不加价,新增12类Agent Harness工具

    阿里云 Token Plan 个人版升级,Standard 与 Pro 套餐价格和 Credit 额度保持不变,新增覆盖搜索、网页解析、图像生成、语音处理、代码执行等 12 项 Agent 开发能力,工具均通过 MCP 标准协议开放,可直接接入自有 Agent 应用。

    推荐理由:原文列出了各套餐新增的 MCP 工具与具体调用额度,读者可据此估算自己搭建 Agent 的月度成本。

9月2日周三
  1. Google DeepMind80

    Gemini 推出智能体视频理解能力,token 消耗最高降低 88%

    Google DeepMind 在 Gemini 3.7 Flash、3.6 Flash 与 3.5 Flash-Lite 上线智能体视频理解能力,token 消耗最高降低 88%、成本最高降低 66%、准确度最高提升 7%。

    推荐理由:原文给出最高 88% 的 token 降幅与 66% 的成本降幅,并说明按标准 API 计费、无额外功能费的开启方式,便于开发者评估接入成本。

8月31日周一
8月28日周五
  1. 阿里云开发者64

    Tarot Pixel 实践:AI 视觉还原的上下文工程与循环工程

    Tarot Pixel 团队提出用上下文工程和循环工程两个方向提升 Coding Agent 的设计稿还原质量:先对设计稿做五阶段降噪,把节点数从 245 降到 113、单模块 API 调用从 15-25 次降到 5-10 次;再在 Skill 中内置做-看-改闭环,以 diff 百分比为验证器、20 轮为上限,用 Qoder 加 Kimi K3 等模型逐步收敛到视觉一致。

  2. Google DeepMind80

    Gemini Omni 1.1 Flash 发布,带来更强创意控制与生成视频能力

    Google DeepMind 发布 Gemini Omni 1.1 Flash,为开发者带来一套新的创意控制与生成视频能力,可通过 Gemini API 在 Google AI Studio 或企业 Agent Platform API 使用。

    推荐理由:相比此前只能参考最后一秒,Omni 1.1 可分析最多 10 秒前文,场景延长以 10 秒为步进累计至 40 秒,读者可据此判断它对连续叙事工作流的价值。

8月27日周四
  1. 阿里云开发者79

    Qwen3.8-Flash 上线千问 AI 平台,每百万 Tokens 输入 0.8 元

    千问 AI 平台上线 Qwen3.8-Flash,API 每百万 Tokens 输入 0.8 元、输出 2.7 元、缓存命中 0.1 元。该模型为多模态 MoE 架构,千亿总参数仅激活 60 亿,引入 QSA 机制与 Gated Residual,在高缓存命中的 1M Tokens 长上下文场景中提速 8 倍以上。模型权重已在 Hugging Face 与魔搭社区开源,千问办公标准模式也已内置。

    推荐理由:原文列出了 Qwen3.8-Flash 的架构创新与分层价格,读者可据此评估长上下文 Agent 任务的调用成本。

8月26日周三
  1. 智谱 · 官方公众号83

    智谱上线并开源 GLM-5.3-Flash,前沿智能进入普惠时代

    智谱上线并开源 GLM-5.3-Flash(320B-A18B),这是 GLM-5 系列首个原生多模态模型,AA 综合智能指数取得 57 分,与 Claude Opus 4.8 持平,定价为 GLM-5.3 的 1/10、限时折扣内 1/20、Opus 4.8 的 1/40。

    推荐理由:原文给出与 Claude Opus 4.8 的能力与价格对照,以及混合注意力架构的降本路径,可据此评估前沿模型的成本走向。

8月24日周一
  1. 阿里云开发者74

    Wan3.0 正式上线千问AI平台

    视频生成模型 Wan3.0 正式上线千问AI平台,单次可生成30秒视频,并首次支持 doc、xls、ppt、pdf、md 等文档格式输入。自8月6日公测以来,Wan3.0 在跨镜头一致性、人物质感与真实世界还原方面获得短剧、广告、文旅等行业用户反馈。480P/720P/1080P 的 API 价格分别为 0.3/0.6/1.2 元/秒,8月24日至9月23日开启限时7折优惠。

    推荐理由:原文给出了 Wan3.0 的生成时长、文档输入能力与 API 定价,可据此判断视频生成模型在生产流程中的落地进展。

8月13日周四
  1. Microsoft Research47

    MindTopo 揭示 VLM 的空间推理能力

    Microsoft Research 推出拓扑推理基准 MindTopo,评估多模态模型在连通性、包围、顺序、分离与打结五类拓扑关系上的推理与规划能力。测试显示,当前多模态模型在静态识别任务上表现明显优于交互式规划任务,两者均远低于人类水平,且错误多发生在规划阶段而非感知阶段。该基准为机器人和交互环境中的 AI 系统提供了可控诊断工具。

8月12日周三
  1. Google DeepMind85

    Google DeepMind 发布 SL2T 手语转文本模型,登陆 Pixel 11 的 Gboard 与 Live Transcribe

    Google DeepMind 发布大规模多语言手语转文本模型 SL2T,让手语 AI 首次走出实验室进入消费级产品:SL2T 驱动 Pixel 11 上 Gboard 与 Live Transcribe 的手语转文字功能,首发支持美国手语(ASL)转英语,更多设备与语言将陆续跟进。

    推荐理由:SL2T 以姿态关键点而非原始视频做端到端翻译,并进入 Gboard 与 Live Transcribe,可看作无障碍交互从实验室走向消费级产品的样本。

  2. 阿里云开发者56

    千问AI Arena 上线:给 Agent 一个真实的战场

    阿里千问AI平台正式上线“千问AI Arena”,一个面向 AI Agent 的挑战与评测平台,从真实业务中持续产生挑战任务并公开评测打榜。首个任务由千问AI平台与 Aidge 联合发起,聚焦跨境电商商品上架,要求开发者构建可独立运行的 Agent,一次生成面向美国、韩国和巴西三个市场的英语、韩语、葡萄牙语商品文案及主图、详情图和商品视频。

7月30日周四
  1. Google DeepMind61

    Google DeepMind 在 Google Flow Music 发布 Lyria 3.5,改进音乐性、歌词、人声与创作控制

    Google DeepMind 发布最新音乐生成模型 Lyria 3.5,今日起在 Google Flow Music 中推出。模型在音乐性、歌词与人声三方面均有改进,歌词的提示词遵循度和结构感知提升,人声更真实且发音改善。用户可更方便地控制输出节奏与时长。

    推荐理由:官方列出了 Lyria 3.5 在音乐性、歌词与人声上的改进及节奏、时长控制,可据此对照 Google 音乐生成能力的当前水位。

7月28日周二
  1. Google DeepMind74

    Google DeepMind 发布 Gemini Robotics 2:为机器人带来全身智能

    Google DeepMind 发布 Gemini Robotics 2,通过三个模型为机器人带来全身智能、灵巧操作和多机协同能力。该系统可控制完整人形机器人执行耗时数分钟的多步任务,ER 2 推理模型已在 Google AI Studio 上线,On-Device 2 端侧模型仅需几小时即可适配新本体。

    推荐理由:官方公布了全身控制、灵巧操作与多机协同能力,并给出端侧几小时适配新本体的指标,适合评估具身智能进展。

7月15日周三
  1. 阶跃 StepFun · 官方公众号26

    阶跃 StepFun WAIC 2026 展区亮点抢先看:Step AOS 与智能体手机 STEPX Neo 首次线下亮相

    阶跃 StepFun 将在 WAIC 2026 集中展示 Step 系列模型矩阵与全球首个智能体原生操作系统 Step AOS。荣获本届 WAIC “镇馆之宝”的智能体手机 STEPX Neo 首次线下公开亮相,展区位于上海世博展览馆 H1 馆 C107。阶跃还携手吉利、千里科技升级汽车智能体(上极氪8X),并与原力灵机挑战 6 台机器人连续协作 15 小时拼装 8 万余块积木长城。

7月12日周日
  1. 阶跃 StepFun · 官方公众号63

    阶跃发布 Step Edge 端侧模型全家桶

    阶跃发布端侧模型家族 Step Edge,包含基础模型、Step Edge Audio、Step Edge GUI 和 Step Edge Gen,面向手机、汽车等终端场景。该系列支持低至 0.1 秒的端侧本地 toolcall 执行,多模态信息可在本地处理以保护隐私,并配套自研 Step Inference NPU 引擎优化推理延迟。官方称其在 29 项核心评测指标中取得第一。

6月9日周二
  1. Google DeepMind80

    Google DeepMind 发布 Gemma 4 12B:统一的无编码器多模态模型

    Google DeepMind 发布 Gemma 4 12B,一款可在笔记本本地运行的多模态模型。该模型采用无编码器统一架构,视觉与音频输入直接进入 LLM backbone,仅需 16GB VRAM 或统一内存即可运行,性能接近 26B MoE 模型。它是该系列首款支持原生音频输入的中型模型,已采用 Apache 2.0 许可证开源。

    推荐理由:官方给出了 16GB 内存即可本地运行的规格,以及与 26B MoE 模型的性能对比,便于开发者评估端侧部署方案。

5月18日周一
  1. Google DeepMind81

    Google DeepMind 发布 Gemini Omni Flash 模型

    Google DeepMind 发布 Gemini Omni 系列首款模型 Gemini Omni Flash,支持将图像、音频、视频和文本组合作为输入生成高质量视频。

    推荐理由:原文给出了 Gemini Omni Flash 的多模态输入与对话式编辑能力,读者可据此判断其视频生成工作流的变化。

5月17日周日
  1. Google DeepMind71

    Google 扩展内容透明度与验证工具,SynthID 验证进入 Search 与 Chrome

    Google 宣布扩展内容透明度与验证工具:SynthID 验证今天进入 Search,并将在未来几周扩展到 Chrome,C2PA Content Credentials 验证则从今天起在 Gemini app 推出。

    推荐理由:原文梳理了 SynthID 与 C2PA Content Credentials 在 Google 各产品线的落地进展,并说明 OpenAI 等厂商接入后如何扩大水印覆盖范围。

4月30日周四
4月16日周四
4月13日周一
  1. Google DeepMind69

    Gemini Robotics-ER 1.6 发布:增强具身推理,驱动真实世界机器人任务

    Google DeepMind 发布 Gemini Robotics-ER 1.6,这是其推理优先具身推理模型的重大升级,即日起通过 Gemini API 与 Google AI Studio 向开发者开放,并提供配置与提示示例的开发者 Colab。

    推荐理由:原文给出相对上一代与 Gemini 3.0 Flash 的逐项基准对比,读者可据此判断具身推理在工业巡检场景的可用边界。