近日,全球首个以真实执行为标尺的动作驱动世界模型评测平台 WorldOracle 正式发布,并向开发者开放评测提交。该项目由智元、NVIDIA、普林斯顿大学、得克萨斯大学奥斯汀分校、多伦多大学的研究人员联合完成。
WorldOracle 主要用于评估世界模型对机器人动作执行结果的预测准确性。与传统侧重视频生成质量的评测方式不同,该平台以机器人真实操作数据为参照,将模型生成的预测视频与真实执行过程进行对比,重点检验模型对物理交互结果的预测能力。目前,WorldOracle 已收录 335 条真实操作轨迹,涵盖水果抓取、毛巾悬挂、倒水、抽屉开合等任务,其中约 40%的交互片段包含失败或次优操作。
WorldOracle 主要用于评估世界模型对机器人动作执行结果的预测准确性。与传统侧重视频生成质量的评测方式不同,该平台以机器人真实操作数据为参照,将模型生成的预测视频与真实执行过程进行对比,重点检验模型对物理交互结果的预测能力。目前,WorldOracle 已收录 335 条真实操作轨迹,涵盖水果抓取、毛巾悬挂、倒水、抽屉开合等任务,其中约 40%的交互片段包含失败或次优操作。