具身智能世界模型研究工程师

我们正在基于可交互的 3D 仿真场景研发面向具身智能的世界模型。该岗位重点研究机器人动作与环境状态变化之间的关系，使模型能够从视觉、语言、机器人状态和动作序列中学习环境动力学，预测未来观测与状态，并服务于机器人规划、策略学习、数据生成和仿真到现实迁移。该岗位不是单纯的视频生成或 3D 场景制作岗位。候选人需要关注模型是否理解动作因果、物体持久性、空间关系、接触与交互结果，并建立能够衡量这些能力的训练和评测方法。## 工作职责- 基于厨房、客厅、商店等可交互 3D 仿真场景，构建世界模型训练与评测 pipeline。- 研究 action-conditioned video prediction、latent dynamics model、state-space model、video diffusion 和 autoregressive world model 等方法。- 融合 RGB、深度、点云、语义、机器人本体状态、动作、语言指令和物体状态等多模态信息。- 训练模型预测未来图像、3D 状态、物体轨迹、接触事件、奖励、成功概率或终止状态。- 利用仿真器生成大规模、可控且带有完整 ground truth 的交互轨迹，包括成功、失败、扰动和反事实数据。- 研究具有 3D 一致性、时间一致性、物体持久性和长时序记忆能力的世界表示。- 将世界模型用于机器人行为想象、model predictive control、策略规划、数据增强、奖励建模或策略预训练。- 设计世界模型 benchmark，评估视觉质量之外的动作可控性、动力学准确性、空间一致性、长期预测和下游任务收益。- 分析模型在遮挡、碰撞、物体状态变化、未见场景和未见动作组合上的失败模式与泛化能力。- 开发分布式训练、数据加载、实验管理、模型评测和可视化工具，提高研究迭代效率。- 与 3D 资产工程师协作扩展视觉与物体多样性，与机器人仿真工程师协作定义交互数据、状态标签和评测任务。- 跟踪并复现世界模型、视频生成、具身智能和 model-based reinforcement learning 的前沿工作，参与论文与开源项目。## 任职要求- 熟悉 Python 和 PyTorch，能够独立完成模型训练、数据处理、实验设计和结果分析。- 理解 transformer、diffusion model、flow matching、VAE 或其他生成模型的基本原理。- 理解序列建模、表示学习、条件生成或动力学建模中的至少一个方向。- 具备机器人学习或 3D 视觉基础，理解观测、状态、动作、轨迹、坐标系和相机等概念。- 能够将研究问题转化为明确的数据协议、模型目标、消融实验和量化评测指标。- 具备较强的论文阅读、模型复现、工程调试和独立研究能力。## 加分项- 有 world model、video prediction、video generation、model-based RL、imagination-based planning 或 neural simulator 相关经验。- 熟悉 Dreamer、TD-MPC、MuZero、V-JEPA、Genie、GAIA 或同类世界模型工作。- 熟悉 Diffusion Transformer、Video Transformer、state-space model、tokenizer、VQ-VAE 或 latent action model。- 有多视角视频、深度、点云、3D reconstruction、NeRF、Gaussian Splatting 或 4D 表示相关经验。- 熟悉 MuJoCo、RoboCasa、Isaac Sim、SAPIEN、ManiSkill、Habitat 或其他交互式仿真平台。- 有 imitation learning、reinforcement learning、VLA、Diffusion Policy、ACT 或机器人规划经验。- 有大规模视频或机器人数据训练经验，熟悉分布式训练、混合精度、训练稳定性和推理优化。- 有世界模型评测、物理一致性评测、生成模型评测或机器人下游任务评测经验。- 有真实机器人数据、sim-to-real、域适配或跨场景泛化经验。- 有顶会论文发表、高质量论文复现或相关开源项目贡献。## 实习生要求- 每周可实习 3 天以上，连续 3 个月以上优先。- 人工智能、计算机、机器人、自动化、图形学、电子、控制或数学等相关方向优先。- 需要具备 PyTorch 模型训练经验，并在生成模型、视频理解、机器人学习、强化学习或 3D 视觉方向至少有一项实际项目经验。- 能够阅读英文论文、复现核心方法并通过实验验证假设。