Reka AI 发布全模态模型 Rho-1：单一模型处理文本、图像、视频与机器人控制

Reka AI 发布了 Rho-1 的研究预览版。这款拥有 190 亿参数的全能模型在单个神经网络中处理并生成文本、图像、视频和机器人控制动作。与大多数将任务路由到专用模型的 AI 系统不同，Rho-1 将所有模态作为 token 运行于一个共享的上下文窗口中，无需工具调用或外部模型。该模型实时生成连续视频，并能在不重启的情况下即时响应新指令。

预测摄像头图像的同一套权重也驱动机器人运动。为解决机器人训练数据稀缺的问题，Reka AI 构建了一个从普通互联网视频中提取控制信号的逆动力学模型。Rho-1 使用 320 块 H100 GPU 训练了约三个月。

Reka AI 在多模态 AI 领域并非新手。2024 年 4 月，该公司推出了多模态语言模型 Reka Core，在基准测试中与 GPT-4、Claude 3 和 Gemini Ultra 展开竞争。此次发布契合了AI 研究向所谓世界模型更广泛推进的趋势。

没有炒作的 AI 新闻 – 由人工精选

订阅 THE DECODER，享受无广告阅读、每周 AI 时事通讯、每年六期的独家“AI Radar”前沿报告、完整档案访问权限以及评论区的使用权限。