日前，英伟达 GEAR Lab 推出「DreamGen」项目，旨在让机器人能减少对现实数据的依赖，并通过 AI 视频世界模型与现实结合，从而让机器人自主学会新的任务。

据悉，DreamGen 的核心思想是通过成熟的 AI 视频世界模型（OpenAI 的 Sora、Google 的 Veo 等），与现实世界中的视频进行虚拟合成，从而创建大规模逼真的训练数据。

官方介绍，DreamGen 通过微调模型、虚拟数据合成、虚拟数据中动作提取、策略训练四个步骤，进行训练数据的生成。

值得一提的是，DreamGen 还可以增强不同机器人系统以及不同策略架构，在接触密集型任务中的表现，做到了零样本行为泛化和零样本环境泛化。