岗位描述
全职|北京市
面向通用灵巧操作,研究如何从大规模视频数据中学习环境变化、物体交互与手部运动,并将预训练能力迁移至机器人操作策略,提升灵巧手在不同任务、物体和场景中的学习效率与泛化能力。
岗位职责:
研究面向灵巧操作的大模型预训练方法,基于大规模真实数据与仿真合成数据,开展未来表征预测与操作相关表征学习;
研究视觉与人体手部运动的联合建模,探索多视角信息融合、手部姿态与运动表示、多模态对齐等方法,提升预测结果的时序一致性与交互合理性;
开发面向灵巧操作的仿真合成数据生成流程,研究利用仿真合成数据开展模型预训练的方法;
参与预训练数据处理流程建设,包括视频处理、数据清洗、手部姿态监督构建与质量评估,持续提升数据质量与覆盖度,改善模型训练效果。
岗位要求:
具有计算机、人工智能、机器人、自动化、数学或相关专业的硕士或博士学位;
在视频生成、世界模型、三维视觉(3DV)、大模型、强化学习或仿真合成数据等方向中,至少具备一个方向的研究或项目经验;
熟悉深度学习的数据处理与模型训练流程,能够分析数据质量、训练目标及评测设置对模型效果的影响;
具备良好的研究主动性、问题分析能力与团队协作能力,能够跟进前沿研究,独立设计实验、验证假设并改进方法。
加分项:
有 VLA 或 WAM 的预训练经验,熟悉扩散模型、Flow Matching 或其他生成式建模方法;
有三维视觉、人体或手部姿态估计、运动预测、多视角几何等经验,熟悉 MANO 等参数化手部模型;
有视频生成模型研发、训练与优化经验;有视频生成与强化学习(RL)相结合的研究或实践经验,包括奖励建模、RL 后训练及生成质量优化等;
熟悉 Isaac Sim、Isaac Lab、MuJoCo 等仿真平台,在仿真渲染、物理交互、数据批量生成或仿真到真实迁移方面有实际经验;
在计算机视觉、机器学习或机器人领域发表过高质量论文,或有能够体现个人贡献的开源项目与技术成果。