OpenAI 发布全新改进的嵌入模型
OpenAI 宣布推出全新的嵌入模型,官方称其能力更强、成本更低且更易于使用。
OpenAI 宣布推出全新的嵌入模型,官方称其能力更强、成本更低且更易于使用。
OpenAI 发布了名为 ChatGPT 的对话式模型。对话格式使其能够回答追问、承认错误、质疑错误前提并拒绝不当请求。原文链接:https://openai.com/index/chatgpt
推荐理由:这是 OpenAI 发布 ChatGPT 的原始公告,对话格式让它能回答追问、承认错误、质疑错误前提并拒绝不当请求,适合了解该产品的最初定位。
OpenAI 训练并开源了名为 Whisper 的神经网络,称其在英语语音识别上的鲁棒性和准确率接近人类水平。
推荐理由:Whisper 以开源形式发布,读者可直接获取模型并评估其在英语语音识别场景中的实际表现。
DALL·E 2 研究预览期间,来自 118 个国家的 3000 多位艺术家已将 DALL·E 融入其创作工作流。早期访问组的艺术家帮助发掘了 DALL·E 的新用途,并作为关键意见方参与了 DALL·E 功能相关决策。
OpenAI 发布 GPT-3 与 Codex 新版本,支持对现有文本进行编辑或插入内容,而不仅是补全文本。
推荐理由:相比此前只能补全文本,新版本 GPT-3 和 Codex 可直接编辑或在现有文本中插入内容,读者可据此判断其适用场景是否扩展。
OpenAI 训练出比 GPT-3 更能遵循用户意图的 InstructGPT 模型,现已作为 API 的默认语言模型部署。这些模型采用人在回路方式训练,同时提高了真实性并降低了毒性,所用技术来自其对齐研究。
推荐理由:原文给出了 InstructGPT 相对 GPT-3 在意图遵循、真实性与毒性上的改进,读者可据此理解人在回路训练对模型对齐的作用。
OpenAI 训练的一个系统可解答小学数学应用题,准确率接近微调 GPT-3 模型的两倍。在相同题目上,9-12 岁儿童样本得分 60%,该系统得分 55%。
OpenAI 推出改进版 Codex,该系统可将自然语言翻译为代码,即日起通过 API 以私有测试形式开放。
推荐理由:原文给出了 Codex 的自然语言转代码定位与 private beta 开放方式,读者可据此判断它对编程工作流的影响。
OpenAI 发布神经网络 CLIP,可从自然语言监督中高效学习视觉概念。只需提供待识别类别的名称,CLIP 即可用于任何视觉分类基准,具备类似 GPT-2 和 GPT-3 的 zero-shot 能力。原文链接:https://openai.com/index/clip
推荐理由:CLIP 用自然语言监督学习视觉概念,让视觉分类不再依赖人工标注,可对照 GPT 的 zero-shot 思路理解其迁移方式。
OpenAI 发布 Jukebox,这是一个能按多种流派和艺人风格生成原始音频音乐、包括简单演唱的神经网络。官方同时开源了模型权重和代码,并发布了一款用于浏览生成样本的工具。
推荐理由:原文给出了模型按流派和艺人风格生成原始音频的能力,以及开源权重、代码和试听工具,读者可据此判断它在音乐创作流程中的可用性。
OpenAI 发布 GPT-2 的最大版本,参数量 1.5B,并同步开放代码与模型权重,用于检测 GPT-2 模型的输出。这是 GPT-2 分阶段发布计划的最后一个模型,OpenAI 希望该完整过程为未来更强模型的开发者提供测试案例,并继续与 AI 社区讨论负责任发布。
推荐理由:原文交代了 GPT-2 分阶段发布计划收尾的动机与完整过程,读者可据此理解负责任发布策略如何从设想落地为可操作的流程。
OpenAI 发布 774M 参数的 GPT-2 语言模型,这是继 2 月发布 124M 小模型、5 月发布 355M 中模型之后的第三阶段释放。同时开源了一份法律协议,方便机构之间开展模型共享合作,并发布技术报告介绍与 AI 研究社区协调发布规范的经验。
推荐理由:这是 GPT-2 分阶段发布的第三步,读者可对照 124M 与 355M 版本理解其开放节奏与发布策略。
OpenAI 发布 MuseNet,这是一个深度神经网络,可生成 4 分钟、含 10 种乐器的乐曲,并融合从乡村、莫扎特到披头士的风格。它没有被显式编程音乐知识,而是通过学习预测数十万 MIDI 文件中的下一个 token,自己发现和声、节奏与风格规律。MuseNet 使用与 GPT-2 相同的通用无监督技术,即一个训练来预测序列中下一个 token 的大规模 Transformer 模型。
OpenAI 训练了一个大规模无监督语言模型,能生成连贯的文本段落,并在多项语言建模基准上达到 SOTA。该模型无需任务专属训练,即可完成基础的阅读理解、机器翻译、问答和摘要。
推荐理由:原文记录了大规模无监督语言模型在无需任务专属训练时即可完成阅读理解、翻译、问答与摘要,可作为理解通用语言能力演进的背景。
OpenAI 推出可逆生成模型 Glow,它采用可逆 1x1 卷积,能生成逼真的高分辨率图像并支持高效采样。Glow 还能发现可用于操纵数据属性的特征,OpenAI 已发布模型代码和在线可视化工具。
OpenAI 官方宣布,由五个神经网络组成的 OpenAI Five 已开始在 Dota 2 中击败业余人类战队。
推荐理由:原文由官方直接交代 OpenAI Five 的规模与对战结果,可作为了解游戏 AI 进展的一手背景。
OpenAI 的最新机器人技术使完全在仿真中训练的控制器部署到物理机器人后,能在执行简单任务时应对环境的意外变化。这些控制器构成闭环系统,而非以往的开环系统。
OpenAI 发布了两个新的 OpenAI Baselines 实现:ACKTR 和 A2C。A2C 是 A3C 的同步确定性变体,性能与 A3C 相当。ACKTR 比 TRPO 和 A2C 更具样本效率,每次更新的计算开销仅略高于 A2C。