DALL·E 2:拓展创造力
DALL·E 2 研究预览期间,来自 118 个国家的 3000 多位艺术家已将 DALL·E 融入其创作工作流。早期访问组的艺术家帮助发掘了 DALL·E 的新用途,并作为关键意见方参与了 DALL·E 功能相关决策。
DALL·E 2 研究预览期间,来自 118 个国家的 3000 多位艺术家已将 DALL·E 融入其创作工作流。早期访问组的艺术家帮助发掘了 DALL·E 的新用途,并作为关键意见方参与了 DALL·E 功能相关决策。
OpenAI 为 DALL·E 2 引入了多种预训练防护机制,以降低强大图像生成模型带来的风险。这些措施可防止生成的图像违反内容政策,从而支持该模型向广大受众开放。
OpenAI 通过 Video PreTraining (VPT) 在大量无标注人类 Minecraft 游戏视频上预训练神经网络,仅使用少量标注数据。微调后模型可制作钻石工具,这一任务熟练人类通常需要 20 分钟以上(24,000 次操作)。模型使用原生人类键鼠界面,OpenAI 称其是迈向通用电脑操作智能体的一步。
推荐理由:OpenAI 用少量标注数据加大量无标注视频预训练,让模型学会 Minecraft 中的钻石工具制作,为通用电脑操作智能体提供可迁移方法。
OpenAI 训练了能描述摘要缺陷的批评写作模型,人类评估者在阅读模型批评后能更频繁地发现摘要缺陷。模型规模越大越擅长自我批评,且规模对批评写作的提升超过对摘要写作的提升,这为用 AI 辅助人类监督 AI 展示了前景。
大型神经网络是近期 AI 进步的核心,但其训练是艰巨的工程与研究挑战,需要协调一个 GPU 集群来完成单一同步计算。
Cohere、OpenAI 和 AI21 Labs 共同制定了一套初步的最佳实践,适用于任何开发或部署大语言模型的组织。
OpenAI Codex 现已通过 OpenAI API 为 70 个不同的应用提供支持,覆盖多种用例。
OpenAI 宣布 DALL·E 2 研究预览版早期用户已创建超过 300 万张图片,并将每周从候补名单新增最多 1000 名用户。早期用户还帮助改进了安全流程。
OpenAI 宣布多项高管角色调整。这些变动反映了公司近期的进展,旨在确保 OpenAI 向下一个重大里程碑持续推进的势头。
OpenAI 官方博客发表研究《Hierarchical text-conditional image generation with CLIP latents》,主题为基于 CLIP latents 的分层文本条件图像生成。
OpenAI 发布 GPT-3 与 Codex 新版本,支持对现有文本进行编辑或插入内容,而不仅是补全文本。
推荐理由:相比此前只能补全文本,新版本 GPT-3 和 Codex 可直接编辑或在现有文本中插入内容,读者可据此判断其适用场景是否扩展。
OpenAI 正在征集研究意向,邀请各方参与研究大语言模型对经济的影响。
OpenAI 构建了面向 Lean 的神经定理证明器,可求解多种高难度中学奥林匹克问题。该系统已能解决 AMC12 与 AIME 竞赛题,以及两道改编自 IMO 的题目。
OpenAI 训练出比 GPT-3 更能遵循用户意图的 InstructGPT 模型,现已作为 API 的默认语言模型部署。这些模型采用人在回路方式训练,同时提高了真实性并降低了毒性,所用技术来自其对齐研究。
推荐理由:原文给出了 InstructGPT 相对 GPT-3 在意图遵循、真实性与毒性上的改进,读者可据此理解人在回路训练对模型对齐的作用。
OpenAI 在 API 中推出新的 embeddings 端点,便于对文本和代码执行语义搜索、聚类、主题建模与分类任务。该端点旨在降低自然语言与代码任务的处理门槛。
推荐理由:原文列出了新端点支持的语义搜索、聚类、主题建模与分类四类任务,读者可据此判断是否将其接入现有 API 工作流。
OpenAI 通过文本网页浏览器微调 GPT-3,使其能更准确地回答开放式问题。该研究探索了让语言模型借助网页浏览提升事实准确性的方法。
推荐理由:原文介绍了用文本浏览器微调 GPT-3 以提升事实准确性的方法,为语言模型结合外部信息检索提供了参考。
OpenAI 宣布推出 OpenAI Residency 项目,作为其支持和发展 AI 人才努力的一部分。该计划旨在为 AI 领域的人才提供支持与培养。
OpenAI 宣布其 API 现已无需等待名单即可使用,并称更广泛的可用性得益于安全方面的进展。
推荐理由:原文说明 OpenAI API 取消等待名单并归因于安全进展,读者可据此判断接入门槛与可用性的变化。
OpenAI 训练的一个系统可解答小学数学应用题,准确率接近微调 GPT-3 模型的两倍。在相同题目上,9-12 岁儿童样本得分 60%,该系统得分 55%。
OpenAI 今日宣布,正式任命 Helen Toner 为公司董事会成员。
OpenAI 推出改进版 Codex,该系统可将自然语言翻译为代码,即日起通过 API 以私有测试形式开放。
推荐理由:原文给出了 Codex 的自然语言转代码定位与 private beta 开放方式,读者可据此判断它对编程工作流的影响。
OpenAI 最新研究发现,通过在小型精选数据集上微调,可以改善语言模型在特定行为价值观方面的表现。
2021 届 OpenAI Scholars 学员已完成六个月的导师计划,并在 OpenAI 的资助与支持下产出了开源研究项目。
OpenAI 宣布国会议员 Will Hurd 加入其董事会。公司致力于开发造福全人类的通用人工智能,认为实现该目标需要公共政策与技术两方面的专业知识。
OpenAI 的 GPT-3 已被超过 300 款应用通过 API 用于提供搜索、对话、文本补全等高级 AI 功能。
OpenAI 研究发现 CLIP 中存在多模态神经元,无论概念以字面、符号还是概念形式呈现,这些神经元都会做出相同反应。这可能解释了 CLIP 在分类概念的意外视觉呈现时的高准确率,也是理解 CLIP 及类似模型所学到的关联与偏见的重要一步。
OpenAI 已将 Kubernetes 集群扩展至 7,500 个节点,为 GPT-3、CLIP、DALL·E 等大模型打造可扩展的基础设施。该集群同时支持快速的小规模迭代研究,例如 Scaling Laws for Neural Language Models 一类的工作。
OpenAI 发布神经网络 CLIP,可从自然语言监督中高效学习视觉概念。只需提供待识别类别的名称,CLIP 即可用于任何视觉分类基准,具备类似 GPT-2 和 GPT-3 的 zero-shot 能力。原文链接:https://openai.com/index/clip
推荐理由:CLIP 用自然语言监督学习视觉概念,让视觉分类不再依赖人工标注,可对照 GPT 的 zero-shot 思路理解其迁移方式。
过去一年,OpenAI 经历了剧烈的变化与增长。
OpenAI 已同意将 GPT-3 技术授权给微软,用于其自有产品和服务。
推荐理由:原文明确了 GPT-3 授权仅限微软自有产品与服务,读者可据此判断这一合作如何影响 GPT-3 的商业化路径。
OpenAI 表示已将人类反馈强化学习(RLHF)应用于语言模型训练,使其在摘要任务上表现更好。
推荐理由:这篇材料给出了 RLHF 在摘要任务上的具体用法,可迁移到其他需要人类偏好对齐的文本生成场景。
第三届 OpenAI Scholars 学员在虚拟 Demo Day 上展示了他们的最终项目,呈现了过去五个多月的研究成果。
OpenAI 宣布与 AIcrowd、Carnegie Mellon University 及 DeepMind 联合举办两项 NeurIPS 2020 竞赛。这两项竞赛分别使用 Procgen Benchmark 和 MineRL。
OpenAI 研究发现,与在语言上训练的大型 Transformer 相同的模型在像素序列上训练后,可以生成连贯的图像补全与样本。研究还建立了样本质量与图像分类准确率之间的相关性,其最佳生成模型在无监督设置下的特征可与顶级卷积神经网络竞争。
OpenAI 发布了一款 API,用于访问 OpenAI 新开发的 AI 模型。
推荐理由:OpenAI 发布用于访问其新开发 AI 模型的 API,读者可据此了解其模型对外供给的官方入口。
OpenAI 发布分析称,自 2012 年以来在 ImageNet 分类任务上训练到同等性能所需的算力每 16 个月减少一半;训练到 AlexNet 水平所需算力仅为 2012 年的 1/44,而摩尔定律同期仅能带来 11 倍改善,表明算法进步带来的增益已超过经典硬件效率。原文:https://openai.com/index/ai-and-efficiency
OpenAI 发布 Jukebox,这是一个能按多种流派和艺人风格生成原始音频音乐、包括简单演唱的神经网络。官方同时开源了模型权重和代码,并发布了一款用于浏览生成样本的工具。
推荐理由:原文给出了模型按流派和艺人风格生成原始音频的能力,以及开源权重、代码和试听工具,读者可据此判断它在音乐创作流程中的可用性。
OpenAI 参与了一份由 30 个组织的 58 位共同作者完成的多方报告,提出 10 项机制以提升 AI 系统相关声明的可验证性。开发者可利用这些工具提供证据,证明其 AI 系统具备安全性、可靠性、公平性或隐私保护能力。用户、政策制定者及民间社会也能借此评估 AI 开发流程。
OpenAI 推出 OpenAI Microscope,汇集了八个常用于可解释性研究的视觉“模式生物”的每一个重要层和神经元的可视化。该工具使分析这些神经网络内部形成的特征变得更加容易,旨在帮助研究社区理解这些复杂系统。
OpenAI 宣布将其深度学习框架标准化到 PyTorch。