跳到正文

语音与音频

AI 语音与音频的进展:语音合成、实时对话、音乐生成与音频理解的模型与产品。

30条精选相关主题多模态AI 视频产品更新

最新精选

第 1–20 条 · 共 30 条
10月14日周三
  1. 字节跳动技术团队66

    像改文字一样改语音:火山引擎全新语音内容编辑模型

    火山引擎多媒体实验室推出全新语音内容编辑模型,用户输入原始音频并用一句自然语言说明要改什么,模型即可直接改写声音中说出的内容,同时尽量保留原说话人的音色、韵律和上下文衔接。

    推荐理由:原文将语音编辑从修音质推进到改内容,并对照 Descript 与 Meta Voicebox 说明该模型补上了内容可编辑这一环。

10月13日周二
  1. The Verge · AI67

    Apple 发布 HomeView,其首款家用智能显示屏

    Apple 发布首款家用智能显示屏 HomeView,售价 299 美元,已在八个国家开放预购,11 月 13 日发货。设备配备 7 英寸方形屏幕与铝制音箱底座,内置 Siri AI 语音助手,可作 Apple Home 中枢、Matter 控制器和 Thread 边界路由器统一管理智能家居设备。

    推荐理由:作者提前体验演示样机并与竞品对比,读者可据此判断这款 299 美元设备能否真正减少日常居家时的手机使用。

10月4日周日
  1. 极客公园71

    Tavus 发布 Griffin 人类交互模型,一分钟视频通话近半数参与者误认为真人

    10 月 1 日,美国 AI 视频公司 Tavus 发布 Griffin 模型,并将其定义为全球第一个「人类交互模型」;一分钟视频通话测试中 54 名参与者有 26 人事后认为自己在和真人聊天,比例接近 48%,而上一代系统通过率仅 2.4%。

    推荐理由:文章在宣传效果之外核对了样本量、心理暗示与基准分数,读者可以据此更冷静地判断端到端架构带来的实际进步。

10月3日周六
  1. MiniMax · 官方新闻79

    MiniMax 发布全模态生成模型 H3

    MiniMax 正式发布通用全模态生成模型 H3,支持多模态上下文统一理解,可输出最高 15s 2K 分辨率的原生双声道音视频。该模型在指令遵循、文字与品牌信息呈现及 V2V Motion Transfer 等方面表现出色,2K 分辨率下每秒价格不到主流模型的 1/3。官方计划在未来几天内开放模型权重,以推动开源社区发展。

    推荐理由:MiniMax 发布全模态生成模型 H3,支持 15s 2K 原生双声道音视频,计划开放权重,为多模态创作提供了新的高性价比选项。

  2. TechCrunch · AI67

    Sean Parker 围绕音乐业务重建 Stability AI

    Stability AI 正转型为面向音乐专业人士的 AI 工具公司,获 Sony、Warner、Universal 等投资 $76 million,三方还授权曲库用于模型训练。

    推荐理由:Stability AI 在濒临崩溃后转向音乐赛道,并拿到三大唱片公司的曲库授权融资,可借此观察 AI 音乐工具的版权合作路径。

10月2日周五
  1. The Verge · AI65

    Suno 推出 Speech 语音生成功能,公开测试

    Suno 推出 Speech 功能,可根据脚本或提示词描述生成语音,现已在网页与移动端公开测试,支持同时生成配音和背景音乐。该功能提供 Simple 与 Advanced 两种模式,最长约 8 分钟,可通过开关关闭背景音乐,官方承认口音等细节仍不稳定。

    推荐理由:原文把 Suno Speech 放进文字转语音竞品背景中比较,并说明了语音加音乐同轨生成的差异与已知局限。

9月23日周三
  1. Google DeepMind77

    Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Flash-Lite TTS 语音模型

    Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型。前者侧重深度创意指导,支持自然语言生成定制声音、30秒语音复刻与逐句表演控制;后者面向高并发、低成本的规模化应用。

    推荐理由:原文清晰对比了两款新 TTS 模型的定位与功能,并给出基准表现与安全机制,便于开发者评估选型。

9月16日周三
9月15日周二
  1. 阶跃 StepFun · 官方公众号65

    阶跃发布 StepAudio 3 系列语音模型,多款模型位列 Artificial Analysis 全球第一

    阶跃正式发布 StepAudio 3 系列语音模型,包含 StepAudio 3 Realtime、ASR、TTS、Gen、Music 五款,均已上线阶跃星辰开放平台。

    推荐理由:官方发布稿逐一给出五款模型的能力定位与 Artificial Analysis 榜单数据,读者可据此判断语音模型正从单点能力竞争走向完整交互与创作。

9月10日周四
  1. X66

    继 UU 远程后,网易又整了一个识别速度快到没朋友的 AI 语音输入法「叭哥说」

    网易有道上线 AI 语音输入法「叭哥说」,作者用同一段录音实测,其 E2E 平均识别耗时 1683ms、P95 为 2134ms,基本上一松开录制按钮结果就出来了。它用 ASR 识别与纠错润色双模型协作,支持工位级小声拾音、个人词典导入即时生效与多语言翻译;横向对比中识别速度为豆包 > 叭哥说 = 闪电说 > Typeless,而 AI 整理能力优于偏转写的豆包输入法。

    推荐理由:作者用同一段录音横向对比四款 AI 语音输入法的识别速度与整理能力,并附叭哥说的延迟数据与专项测试,便于按需选型。

  2. OpenAI News71

    用 API 中的 GPT-Live-1 构建更自然的语音体验

    OpenAI 在 API 中推出 GPT-Live-1,支持自然的全双工语音对话。该模型具备更强的指令遵循能力,并支持自定义语音和电话功能。https://openai.com/index/introducing-gpt-live-1-in-the-api

    推荐理由:原文列出了全双工语音对话、自定义语音和电话支持等能力,读者可据此判断现有语音产品的形态变化。

9月4日周五
  1. X68

    开源 115 期 AI 播客知识库与全自动搭建流水线

    作者开源两个 GitHub 仓库:podcast-notes 收录 115 期、400 多万字、129.3 小时的 AI 播客知识库,Obsidian 打开即可搜索;podcast-pipeline 把从搜索、转录、写总结到自动归档 Obsidian 的全流程自动化,说人话即可复刻到任意领域。

    推荐理由:作者开源了 115 期播客知识库和一套全自动搭建流水线,读者可照此在自己的领域快速复刻同款知识库。

8月27日周四
  1. Google DeepMind75

    Gemini 3.5 Transcribe 发布:实现更精准的智能实时语音转录

    Google DeepMind 发布语音转文本模型 Gemini 3.5 Transcribe,提供实时流式与预录制两种 API。据 Artificial Analysis 测量,其流式平均词错率为 4.0%,非流式为 2.6%,最终转录时间较 Chirp 3 缩短 70%。模型支持 85 种以上语言、自定义词汇表与函数调用,现已通过 Google AI Studio 等平台推出公开预览。

    推荐理由:相比上一代 Chirp 3,Gemini 3.5 Transcribe 将流式转录错误率降至 4.0%,最终转录时间缩短 70%,并支持函数调用与自定义词汇表。

7月22日周三
  1. OpenAI News60

    OpenAI Presence 发布

    OpenAI 推出 Presence,这是一个经过验证的企业级 AI 智能体平台,旨在帮助组织为客户及内部工作流部署可信的语音与聊天智能体。

    推荐理由:材料将其定位为经过验证的企业级智能体平台,读者可据此评估语音与聊天智能体在自身工作流中的落地方式。

7月8日周三
6月9日周二
  1. Google DeepMind84

    Google 发布 Gemini 3.5 Live Translate,支持 70+ 语言近实时语音翻译

    Google DeepMind 发布音频模型 Gemini 3.5 Live Translate,支持 70+ 语言的近实时语音到语音翻译,可保留说话者的语调、节奏和音高,连续生成且全程仅比说话者滞后几秒。

    推荐理由:官方公布了 70+ 语言与连续生成机制,并开放 Gemini Live API 等多端入口,可据此判断实时语音翻译在会议和通话场景的可用性变化。

5月7日周四
4月16日周四
  1. Google DeepMind67

    Google DeepMind 发布 Gemini 3.1 Flash TTS,新一代表现力 AI 语音模型

    Google DeepMind 发布 Gemini 3.1 Flash TTS 文本转语音模型,在 Artificial Analysis TTS 榜单取得 Elo 1211,支持 70+ 语言、原生多人对话,并引入 audio tags 以自然语言精细控制语音风格、节奏与表达。

    推荐理由:原文给出了 Elo 1211 的榜单分数与 audio tags 的具体用法,读者可据此判断它相对现有 TTS 方案的可控性优势。

3月26日周四
  1. Google DeepMind72

    Gemini 3.1 Flash Live 发布:让语音 AI 更自然、更可靠

    Google DeepMind 发布 Gemini 3.1 Flash Live,这是其目前最高质量的音频与语音模型,旨在提升实时对话的速度与自然度。该模型在 ComplexFuncBench Audio 上得分 90.8%,支持 Gemini Live 对话时长翻倍,并推动 Search Live 扩展至 200 多个国家/地区,所有生成的音频均带有 SynthID 水印。

    推荐理由:相比前代模型,Gemini 3.1 Flash Live 在语音精确度、延迟与上下文长度上均有提升,并推动 Search Live 扩展至全球。