OpenAI 开发分层强化学习算法,学习可用于多种任务的高层动作
OpenAI 开发了一种分层强化学习算法,能学习可用于解决多种任务的高层动作,从而快速完成需要数千个 timestep 的任务。将该算法应用于一组导航问题时,它发现了朝不同方向行走和爬行的高层动作,使智能体能够快速掌握新的导航任务。
OpenAI 开发了一种分层强化学习算法,能学习可用于解决多种任务的高层动作,从而快速完成需要数千个 timestep 的任务。将该算法应用于一组导航问题时,它发现了朝不同方向行走和爬行的高层动作,使智能体能够快速掌握新的导航任务。
OpenAI 展示,在模拟机器人摔跤任务中,元学习智能体可学会快速击败更强的非元学习智能体。该元学习智能体还能适应物理故障。
OpenAI 发现竞争性自我博弈(self-play)能让模拟 AI 在无需刻意设计环境的情况下,自主发现抢断、躲避、假动作、踢球、接球和扑球等物理技能。自我博弈可确保环境难度始终适合 AI 不断提升。结合 Dota 2 的自我博弈结果,OpenAI 越来越确信自我博弈将成为未来强大 AI 系统的核心组成部分。
OpenAI 发布 LOLA(Learning with Opponent-Learning Awareness)算法,该算法在训练中会把其他智能体也在学习这一事实纳入考虑。在重复囚徒困境中,LOLA 能发现以牙还牙(tit-for-tat)这类既利己又协作的策略,是迈向能建模其他心智的智能体的一小步。
OpenAI 发现,向强化学习算法的参数添加自适应噪声通常能提升性能。这种探索方法实现简单,且极少导致性能下降,值得在各类问题上尝试。
OpenAI 创造了稳健的对抗样本图像,即使从不同尺度和视角查看,也能可靠地欺骗神经网络分类器。这直接挑战了上周关于自动驾驶汽车因从多个尺度、角度和视角捕获图像而难以被恶意欺骗的说法。
OpenAI 与 DeepMind 安全团队合作开发了一种算法,通过让人类在两种行为之间做出选择来推断人类意图。其目标是为安全 AI 系统移除人工编写目标函数的需求,避免用简单代理替代复杂目标带来的危险行为。
推荐理由:原文介绍了与 DeepMind 安全团队合作的偏好学习算法,读者可据此理解用人类偏好替代手写目标函数这一对齐思路的早期形态。
OpenAI 指出,智能体争夺资源的多智能体环境是通向 AGI 的垫脚石。这类环境有两大特质:难度由竞争者技能决定的自然课程(与自身克隆对抗时环境恰好匹配自身水平),以及不存在稳定均衡——无论智能体多聪明,总有变得更聪明的压力。这类环境与传统环境差异很大,仍需大量研究才能驾驭。
OpenAI 打造了全球首个完全在模拟环境中训练、并部署于实体机器人上的 Spam 检测 AI。
OpenAI 发现进化策略(ES)这一经典优化技术在 Atari/MuJoCo 等现代强化学习基准上可媲美标准强化学习方法,同时规避了强化学习的诸多不便。ES 是一种已存在数十年的优化技术,该研究表明其可作为强化学习的可扩展替代方案。
推荐理由:原文将进化策略与标准强化学习在 Atari/MuJoCo 基准上对比,读者可据此判断这一经典优化方法在扩展性上的优势。
OpenAI 宣布支持全新机器学习期刊 Distill 的发布。Distill 旨在以出色的方式传达机器学习研究成果,无论这些结果是新颖的还是已有的。
OpenAI 与 Google Brain、Berkeley、Stanford 的研究人员共同参与论文《Concrete Problems in AI Safety》,探讨如何确保现代机器学习系统按预期运行。论文围绕这一目标梳理了多个相关研究问题。
OpenAI 介绍了四个围绕生成式模型展开的项目,生成式模型是机器学习中无监督学习技术的一个分支。文章还进一步说明了生成式模型是什么、为什么重要以及未来可能的发展方向。