MirroS 发布 AgentGarten:代码定义物理规则,神经渲染器实时绘图,智能体边玩边进化
MirroS 团队发布 AgentGarten,将可执行代码环境与实时神经渲染器连接,以超过 30 fps 的吞吐让智能体持续与世界交互。在捉迷藏实验中,躲藏者在第 4 轮学会搭掩体、搜寻者在第 10 轮掌握借坡道翻墙,而 OpenAI 2019 年同类研究分别用了约 2500 万局和约 1 亿局自我博弈。
MirroS 团队发布 AgentGarten,将可执行代码环境与实时神经渲染器连接,以超过 30 fps 的吞吐让智能体持续与世界交互。在捉迷藏实验中,躲藏者在第 4 轮学会搭掩体、搜寻者在第 10 轮掌握借坡道翻墙,而 OpenAI 2019 年同类研究分别用了约 2500 万局和约 1 亿局自我博弈。
OpenAI 探索在视频数据上大规模训练生成模型,其最大模型 Sora 能够生成一分钟的高保真视频。研究表明,扩展视频生成模型是构建物理世界通用模拟器的有希望路径。
推荐理由:原文提出视频生成模型可作为物理世界通用模拟器的路径,并展示 Sora 生成一分钟高保真视频的能力。
OpenAI 通过 Video PreTraining (VPT) 在大量无标注人类 Minecraft 游戏视频上预训练神经网络,仅使用少量标注数据。微调后模型可制作钻石工具,这一任务熟练人类通常需要 20 分钟以上(24,000 次操作)。模型使用原生人类键鼠界面,OpenAI 称其是迈向通用电脑操作智能体的一步。
推荐理由:OpenAI 用少量标注数据加大量无标注视频预训练,让模型学会 Minecraft 中的钻石工具制作,为通用电脑操作智能体提供可迁移方法。