像改文字一样改语音:火山引擎全新语音内容编辑模型
火山引擎多媒体实验室推出全新语音内容编辑模型,用户输入原始音频并用一句自然语言说明要改什么,模型即可直接改写声音中说出的内容,同时尽量保留原说话人的音色、韵律和上下文衔接。
推荐理由:原文将语音编辑从修音质推进到改内容,并对照 Descript 与 Meta Voicebox 说明该模型补上了内容可编辑这一环。
AI 语音与音频的进展:语音合成、实时对话、音乐生成与音频理解的模型与产品。
火山引擎多媒体实验室推出全新语音内容编辑模型,用户输入原始音频并用一句自然语言说明要改什么,模型即可直接改写声音中说出的内容,同时尽量保留原说话人的音色、韵律和上下文衔接。
推荐理由:原文将语音编辑从修音质推进到改内容,并对照 Descript 与 Meta Voicebox 说明该模型补上了内容可编辑这一环。
Apple 发布首款家用智能显示屏 HomeView,售价 299 美元,已在八个国家开放预购,11 月 13 日发货。设备配备 7 英寸方形屏幕与铝制音箱底座,内置 Siri AI 语音助手,可作 Apple Home 中枢、Matter 控制器和 Thread 边界路由器统一管理智能家居设备。
推荐理由:作者提前体验演示样机并与竞品对比,读者可据此判断这款 299 美元设备能否真正减少日常居家时的手机使用。
10 月 1 日,美国 AI 视频公司 Tavus 发布 Griffin 模型,并将其定义为全球第一个「人类交互模型」;一分钟视频通话测试中 54 名参与者有 26 人事后认为自己在和真人聊天,比例接近 48%,而上一代系统通过率仅 2.4%。
推荐理由:文章在宣传效果之外核对了样本量、心理暗示与基准分数,读者可以据此更冷静地判断端到端架构带来的实际进步。
MiniMax 正式发布通用全模态生成模型 H3,支持多模态上下文统一理解,可输出最高 15s 2K 分辨率的原生双声道音视频。该模型在指令遵循、文字与品牌信息呈现及 V2V Motion Transfer 等方面表现出色,2K 分辨率下每秒价格不到主流模型的 1/3。官方计划在未来几天内开放模型权重,以推动开源社区发展。
推荐理由:MiniMax 发布全模态生成模型 H3,支持 15s 2K 原生双声道音视频,计划开放权重,为多模态创作提供了新的高性价比选项。
Stability AI 正转型为面向音乐专业人士的 AI 工具公司,获 Sony、Warner、Universal 等投资 $76 million,三方还授权曲库用于模型训练。
推荐理由:Stability AI 在濒临崩溃后转向音乐赛道,并拿到三大唱片公司的曲库授权融资,可借此观察 AI 音乐工具的版权合作路径。
Microsoft AI 发布实时转录模型 MAI-Transcribe-2-Streaming 及文本转语音模型 MAI-Voice-2.1 与 MAI-Voice-2.1-Flash。
推荐理由:原文给出了准确率排名、延迟、支持语言数和定价等具体指标,读者可以据此与同类语音模型做横向比较。
Suno 推出 Speech 功能,可根据脚本或提示词描述生成语音,现已在网页与移动端公开测试,支持同时生成配音和背景音乐。该功能提供 Simple 与 Advanced 两种模式,最长约 8 分钟,可通过开关关闭背景音乐,官方承认口音等细节仍不稳定。
推荐理由:原文把 Suno Speech 放进文字转语音竞品背景中比较,并说明了语音加音乐同轨生成的差异与已知局限。
Google DeepMind 发布 Gemini 3.8 Flash TTS 与 Gemini 3.8 Flash-Lite TTS 两款文本转语音模型。前者侧重深度创意指导,支持自然语言生成定制声音、30秒语音复刻与逐句表演控制;后者面向高并发、低成本的规模化应用。
推荐理由:原文清晰对比了两款新 TTS 模型的定位与功能,并给出基准表现与安全机制,便于开发者评估选型。
Google DeepMind 发布 Gemini 3.8 Live 与 Gemini 3.8 Live Extended Thinking 两款实时语音对话模型,前者面向规模与成本效率,后者面向高复杂度任务的多步推理。
推荐理由:原文给出了两款实时语音对话模型的能力定位与基准成绩,读者可据此判断它们在语音智能体场景中的适用性。
阶跃正式发布 StepAudio 3 系列语音模型,包含 StepAudio 3 Realtime、ASR、TTS、Gen、Music 五款,均已上线阶跃星辰开放平台。
推荐理由:官方发布稿逐一给出五款模型的能力定位与 Artificial Analysis 榜单数据,读者可据此判断语音模型正从单点能力竞争走向完整交互与创作。
网易有道上线 AI 语音输入法「叭哥说」,作者用同一段录音实测,其 E2E 平均识别耗时 1683ms、P95 为 2134ms,基本上一松开录制按钮结果就出来了。它用 ASR 识别与纠错润色双模型协作,支持工位级小声拾音、个人词典导入即时生效与多语言翻译;横向对比中识别速度为豆包 > 叭哥说 = 闪电说 > Typeless,而 AI 整理能力优于偏转写的豆包输入法。
推荐理由:作者用同一段录音横向对比四款 AI 语音输入法的识别速度与整理能力,并附叭哥说的延迟数据与专项测试,便于按需选型。
OpenAI 在 API 中推出 GPT-Live-1,支持自然的全双工语音对话。该模型具备更强的指令遵循能力,并支持自定义语音和电话功能。https://openai.com/index/introducing-gpt-live-1-in-the-api
推荐理由:原文列出了全双工语音对话、自定义语音和电话支持等能力,读者可据此判断现有语音产品的形态变化。
作者开源两个 GitHub 仓库:podcast-notes 收录 115 期、400 多万字、129.3 小时的 AI 播客知识库,Obsidian 打开即可搜索;podcast-pipeline 把从搜索、转录、写总结到自动归档 Obsidian 的全流程自动化,说人话即可复刻到任意领域。
推荐理由:作者开源了 115 期播客知识库和一套全自动搭建流水线,读者可照此在自己的领域快速复刻同款知识库。
Google DeepMind 发布语音转文本模型 Gemini 3.5 Transcribe,提供实时流式与预录制两种 API。据 Artificial Analysis 测量,其流式平均词错率为 4.0%,非流式为 2.6%,最终转录时间较 Chirp 3 缩短 70%。模型支持 85 种以上语言、自定义词汇表与函数调用,现已通过 Google AI Studio 等平台推出公开预览。
推荐理由:相比上一代 Chirp 3,Gemini 3.5 Transcribe 将流式转录错误率降至 4.0%,最终转录时间缩短 70%,并支持函数调用与自定义词汇表。
OpenAI 推出 Presence,这是一个经过验证的企业级 AI 智能体平台,旨在帮助组织为客户及内部工作流部署可信的语音与聊天智能体。
推荐理由:材料将其定位为经过验证的企业级智能体平台,读者可据此评估语音与聊天智能体在自身工作流中的落地方式。
OpenAI 发布新一代语音模型 GPT-Live,现已驱动 ChatGPT Voice,面向更自然的人机语音交互。
Google DeepMind 发布音频模型 Gemini 3.5 Live Translate,支持 70+ 语言的近实时语音到语音翻译,可保留说话者的语调、节奏和音高,连续生成且全程仅比说话者滞后几秒。
推荐理由:官方公布了 70+ 语言与连续生成机制,并开放 Gemini Live API 等多端入口,可据此判断实时语音翻译在会议和通话场景的可用性变化。
OpenAI 在 API 中推出新的实时语音模型,可对语音进行推理、翻译和转录,带来更自然、更智能的语音体验。
Google DeepMind 发布 Gemini 3.1 Flash TTS 文本转语音模型,在 Artificial Analysis TTS 榜单取得 Elo 1211,支持 70+ 语言、原生多人对话,并引入 audio tags 以自然语言精细控制语音风格、节奏与表达。
推荐理由:原文给出了 Elo 1211 的榜单分数与 audio tags 的具体用法,读者可据此判断它相对现有 TTS 方案的可控性优势。
Google DeepMind 发布 Gemini 3.1 Flash Live,这是其目前最高质量的音频与语音模型,旨在提升实时对话的速度与自然度。该模型在 ComplexFuncBench Audio 上得分 90.8%,支持 Gemini Live 对话时长翻倍,并推动 Search Live 扩展至 200 多个国家/地区,所有生成的音频均带有 SynthID 水印。
推荐理由:相比前代模型,Gemini 3.1 Flash Live 在语音精确度、延迟与上下文长度上均有提升,并推动 Search Live 扩展至全球。