跳到正文

#多模态

今日 0 条
10月8日周四
  1. 量子位63

    实测 Vidu Q4 预览版,5.4 元做出 GTA 6 风格短片,最高支持 4K 直出

    生数科技开放 Vidu Q4 预览版,量子位实测仅花 5.4 元就做出一段 GTA 6 风格《邪恶老奶》视频。该版本最高支持 4K 直出,可一次引用 15 张参考图和 3 段参考音频,单条最长 16 秒;MaaS 端图生视频 720P 约 0.6 元/秒、1080P 约 0.75 元/秒,SaaS 端推出为期两个月的限时优惠。实测显示其在正反打对话、格斗动作与光影特效上能保持稳定输出。

  2. 量子位 · 行业解读46

    蚂蚁集团×浙江大学提出 TRACE:让 AI 在流式对话中按需推理、读懂情绪

    蚂蚁集团与浙江大学提出面向流式视频情绪理解的 TRACE 框架,通过跟踪模型预测轨迹评估判断可靠性,并按需引入多模态上下文重判。团队同时构建流式评测数据集 StreamMER,在 StreamMER 上将仅在线音频判断的准确率从 59.87% 提升至 69.47%,同时避免 44.42% 的上下文重判调用。

  3. OSCHINA 社区83

    Mistral 发布 1 万亿参数原生多模态模型 Mistral Large 4

    Mistral 发布了 1 万亿参数、520 亿稀疏激活的原生多模态模型 Mistral Large 4,代号 Le Chonk。该模型从零训练,公开预览即日起在 Mistral Studio 上线,权重计划月底发布。

    推荐理由:原文给出了 1 万亿参数、稀疏激活等关键规格和权重开放节奏,读者可据此判断 Mistral Large 4 在多模态模型竞争中的位置。

  4. 雷峰网47

    从「工具」到「智能体」:CARES 4.0在港发布,刘宏斌谈医疗AI如何走进临床

    中国科学院香港创新研究院人工智能与机器人创新中心(CAIR)发布多模态临床智能体系统 CARES 4.0,依托 Harness 智能体框架与自研多模态医疗基座,覆盖诊疗、科室管理与医学科研全链条。该系统已在多家三甲医院完成落地验证,可提供全流程辅助诊断、自然语言交互查询及专病数据统计分析。其框架与通用工具包已发布,超声、手术视频开源模型将接入平台面向社会免费开放。

  5. 雷峰网30

    独家丨前腾讯混元技术骨干胡瀚创业新进展:目标估值数亿美金

    腾讯混元原视觉大模型算法中心负责人胡瀚的创业项目正推进新一轮融资,计划融资数千万美元,目标估值达数亿美金,远识资本担任 FA。该项目仍聚焦多模态方向,过去一个月已有多家投资机构与其接触。面对商业化追问,胡瀚认为其模型未来可以出售给 DeepSeek 等大型科技公司。

  6. Simon Willison16

    Ben Affleck 谈视觉特效与机器学习:从卷积神经网络到 Transformer

    Ben Affleck 分享了他对计算机与机器学习在电影视觉特效中应用的理解。他指出视觉特效流程早已引入机器学习,开发者可借助卷积神经网络分析图像 tensor,完成边缘检测与特征提取,从而更高效地实现绿幕抠像与画面替换。他还提到 Transformer 相比卷积神经网络能够同时进行更多计算。

  7. Hacker News · AI 最新79

    Anshu Chimala:如何把 AI 变成世界级设计师

    Lenny's Newsletter 转发 Anshu Chimala 的长文,系统讲解如何用 AI 智能体做出非同质化的设计。核心方法包括用随机字符串做灵感种子(String Seed of Thought)、让独立的设计评审子智能体反复打分迭代,以及接入图像与视频生成模型补充细节,最后强调做减法比做加法更重要。

    推荐理由:文章把 AI 设计拆成探索、定义与交付三阶段,给出随机字符串种子、设计评审子智能体和图像视频生成等可直接复用的 Prompt。

  8. The Verge · AI84

    ChatGPT 推出 Intelligent UI,回复中可加入图示、图表与可点击按钮

    OpenAI 在 ChatGPT 中推出 Intelligent UI,让回复可以结合图示、图表、表单和可点击按钮等交互式视觉内容。OpenAI 训练了 GPT-6 判断何时生成交互式视觉以及如何排版,GPT-6 同时改进了网页搜索,并能在收集信息时更快给出部分答案。

    推荐理由:原文列出了 Intelligent UI 的交互形式和各版本 GPT-6 的开放节奏,读者可据此判断它对现有对话体验的影响。

  9. TechCrunch · AI

    ChatGPT 推出全新 Intelligent UI 界面,对话体验将变得更加可视化

    OpenAI 随全新 GPT-6 模型推出名为 Intelligent UI 的新界面,将大量可交互视觉元素融入用户对话。该功能可生成可点击按钮、定制计算器、交互式图表与可编辑图形等组件,旨在让复杂主题的学习变得更轻松。Intelligent UI 将随 GPT-6 向 Pro、Plus、Business 和 Enterprise 用户全球推出,免费及低价 Go 用户将于次日获得。

  10. The Decoder68

    OpenAI 发布 Decisions API,将复杂评估简化为是/否或单选

    OpenAI 发布 Decisions API,可对文本、图像或两者进行评估,速度约为 Responses API 的十倍,现已进入公开测试。该 API 目前仅支持 gpt-6-luna,输入 token 每百万 $0.10,输出 token 免费,提供是/否概率、预定义类别单选和量表评分三种返回类型,并支持零数据留存和符合 HIPAA 的使用。

    推荐理由:原文列出了 Decisions API 的三种返回类型、定价规则和相对 Responses API 的速度对比,读者可据此判断它能否替代现有工作流中的分类与评测环节。

10月7日周三
  1. 量子位42

    Meshy 跻身 a16z 消费级 AI 应用月收入 Top 50,为榜单唯一 AI 3D 公司

    Meshy 入选 a16z 首份“消费级 AI 应用月收入 Top 50”榜单,位列第 31 名,成为榜单上唯一一家 AI 3D 公司。该榜单依据 YipitData 追踪的美国消费者银行卡消费数据发布,显示消费者持续为专业化创意工具付费。Meshy 的年度经常性收入(ARR)已突破 1 亿美元,并于 2026 年 7 月完成近 4 亿美元 B 轮融资。

  2. 雷峰网42

    Meshy 跻身 a16z 消费级 AI 应用月收入 Top 50,为榜单唯一 AI 3D 公司

    Meshy 入选 a16z 首份"消费级 AI 应用月收入 Top 50"榜单,位列第 31 名,是榜单上唯一一家 AI 3D 公司。Meshy 自研面向 3D 生成的多模态模型,可将文本和图像转化为生产级 3D 资产,全球注册用户超 1500 万。公司 ARR 已突破 1 亿美元,2026 年 7 月完成近 4 亿美元 B 轮融资,投后估值超 100 亿元。

  3. HackerNews 每日摘要35

    2026-10-07 Hacker News 热门文章摘要

    Mistral Large 4 开启 API 公开预览,总参数 1 万亿、激活参数 490 亿,权重计划于 10 月底发布。Reflection 预览文本模型 Beam,总参数 5,010 亿、激活参数 230 亿,计划本月以 Apache 2.0 发布权重。JetBrains 捷克实体 2025 年收入增长 6.3% 至 160.08 亿捷克克朗,净亏损 3.15 亿克朗。

  4. Hacker News · AI 最新71

    Mistral 发布 1 万亿参数新模型 Mistral Large 4,称媲美中国最佳开源模型

    Mistral 发布 1 万亿参数新模型 Mistral Large 4(代号 le Chonk),称其综合基准性能跻身全球最佳开源模型之列,并为中国以外最强开源权重模型。该模型正向开发者和网络安全负责人预览,本月晚些时候更广泛发布;其训练动用 4,000 块 Nvidia Grace Blackwell GPU,在编码等领域仍落后于前沿水平。

  5. Simon Willison32

    Mistral Large 4 趣味测试:生成“穿渔网袜的犰狳在火星乱穿马路”的 SVG

    wren6991 使用提示词“生成穿渔网袜的犰狳在火星乱穿马路的 SVG”对 Mistral Large 4 等前沿模型进行了趣味测试。测试分别调用了 claude-opus-5.5、gpt-6.1-sol、gemini-3.8-flash 与 mistral/mistral-large-4,并列出各自的默认推理等级。此举调侃传统 benchmark 已趋于饱和,转而用创意提示词检验模型实力。

  6. Hacker News · AI 最新37

    Show HN: HieraticBench —— AI 能读懂古埃及手写体吗?

    一位埃及学爱好者构建了 HieraticBench 基准,测试 AI 识别与翻译古埃及僧侣体(hieratic)的能力,当前最强的基础模型依然表现糟糕。首版含 268 个条目;在明确告知文本为僧侣体时,最佳模型在真实文献上识别正确率为 95%,单字识读最佳成绩约 13%,且无一模型能翻译从未公开的句子。

  7. Google DeepMind66

    Google DeepMind 发布 EmbeddingGemma 2:开源轻量级多模态嵌入模型

    Google DeepMind 发布 EmbeddingGemma 2,一款开源轻量级的多模态嵌入模型,可将文本、图像、音频与视频统一映射到单一嵌入空间。模型基于 Gemma 4 架构,参数量 740M,采用 Apache 2.0 许可,专为端侧推理优化,支持 8K token 上下文窗口。

    推荐理由:原文给出了多模态嵌入与端侧资源占用的具体指标,读者可据此评估离线 RAG 管线的可行性。

  8. Simon Willison22

    Claude Opus 5.5 游戏音乐作曲测试:结果意外出色

    作者测试发现 Claude Opus 5.5 能够创作质量意外出色的电脑游戏音乐,并能按要求设计文本音乐格式与可播放的 artifact。实验要求模型模仿初代《猴岛小英雄》风格,成品虽比预期更浓重地偏向该主题,但整体效果良好。作者推测作曲能力可能如同 3D 图形一样是近几个月文本模型涌现的新能力,但需对比其他新旧模型才能确认。

10月6日周二
  1. The Decoder78

    Mistral 发布万亿参数大模型 Mistral Large 4,主攻网络安全任务

    Mistral 发布迄今最大模型 Mistral Large 4(ML4,昵称 le Chonk),总参数约 1 万亿、活跃参数 49B,为原生多模态模型,API 现已通过 Mistral Studio 开放,权重预计 10 月底发布。

    推荐理由:原文并列了 ML4 与 Claude Opus 5.5、GPT-6 Astra 在智能指数、编码和安全测试上的差距,读者可据此判断其真实定位。

  2. TechCrunch · AI65

    Mistral AI 发布 1T 参数模型 Mistral Large 4,旨在超越闭源与开源对手

    Mistral AI 于周二发布 Mistral Large 4(ML4),一款 1T 参数的多模态大模型,昵称 Le Chonk,被定位为美国闭源模型与中国开源模型之外的第三条道路。

    推荐理由:原文给出 ML4 在闭源与中国开源模型之间的定位与自有算力投入对比,读者可据此判断欧洲开源路线的竞争力。

  3. TechCrunch · AI41

    Pinterest 的 AI 现在可将美妆 Pin 转化为行动计划

    Pinterest 推出 AI 新功能「Beauty Guides」,将美妆 Pin 转化为可带去沙龙的行动计划。该功能由 Pinterest Intelligence 驱动,把 Pin 翻译成发型师常用术语(如 balayage、root melt),并介绍所需时间、价格区间与保养要求。用户点击“Get the Guide”按钮即可查看,初期支持发型、发色、甲形及美甲效果类 Pin。

  4. Hacker News · AI 最新23

    Ask HN:有没有基于文本和参考音频生成声音的 AI 模型?

    一位开发者在 Hacker News 求助:是否存在支持「文本 + 参考音频 → 音频」的商用 AI 模型,用来生成音效。他试过 ElevenLabs SFX,但它只支持文本到音频,没有参考音频就难以精准还原声音;Stable Audio 3 号称支持该能力,实测效果却很差。他感叹这一模态仍停留在 2016 年图像生成的水平,想确认究竟是缺少方案还是需求太少。

  5. The Decoder65

    Reka AI 发布全模态模型 Rho-1:单一模型处理文本、图像、视频与机器人控制

    Reka AI 发布了 Rho-1 的研究预览版,这款 190 亿参数的全模态模型在单一神经网络中处理并生成文本、图像、视频和机器人控制动作。与多数将任务路由到专用模型的系统不同,Rho-1 把所有模态作为 token 放进同一共享上下文窗口,无需工具调用或外部模型,并能实时生成连续视频、即时响应新指令。

    推荐理由:原文给出单一模型统一处理多模态与机器人控制的思路,以及从普通视频提取控制信号的数据方案,可对照自家多模态路线。

10月5日周一
  1. Hacker News · AI 最新44

    TaxCalcBench:AI 能替你报税吗?

    TaxCalcBench 基准以美国报税表 Form 1040 的形式呈现排行榜,评测前沿 AI 模型能否独立完成报税计算这一步。2025 税务年度版(v2)难度显著升级,输入改为 W-2、1099 等真实 PDF 文档,新增州报税并覆盖更复杂的财务情形,共测试 38 个模型、50 份报税表。评测指标包括严格正确率、±$5 宽松正确率、逐行正确率,以及每份报税的 API 成本与生成时间。

10月4日周日
  1. 极客公园71

    Tavus 发布 Griffin 人类交互模型,一分钟视频通话近半数参与者误认为真人

    10 月 1 日,美国 AI 视频公司 Tavus 发布 Griffin 模型,并将其定义为全球第一个「人类交互模型」;一分钟视频通话测试中 54 名参与者有 26 人事后认为自己在和真人聊天,比例接近 48%,而上一代系统通过率仅 2.4%。

    推荐理由:文章在宣传效果之外核对了样本量、心理暗示与基准分数,读者可以据此更冷静地判断端到端架构带来的实际进步。

  2. 量子位52

    GPT-6要“吃掉”3D公司?Meshy不到2年ARR从100万美元增至1亿美元

    Meshy披露其ARR从100万美元增长至1亿美元用时不到两年,快于HeyGen的29个月。尽管GPT-6 Astra已能经Blender生成可漫游的3D场景,但在角色、复杂道具等高细节资产上与Meshy差距明显,Meshy 7.1将几何生成分辨率从2048³提升至4096³,在自建几何对齐与纹理对齐基准上领先其他受测模型。