岗位描述
岗位职责
1. 模型架构设计:设计和实现视觉、语言、机器人状态与动作的联合建模架构,探索时序信息、多模态表征及动作生成方法。
2. 预训练目标与配方:探索预训练的训练目标、数据混合策略、参数更新策略和训练配方。
3. 对照与消融实验:设计模型结构、训练目标与数据策略的对照及消融实验,验证改进对下游任务的实际收益。
4. 训练诊断与模型迭代:定位训练不稳定、能力退化及训推不一致等问题,与数据、评测和应用同事共同推动模型迭代。
岗位要求
1. 大模型训练背景:具有 LLM / VLM 等大模型预训练、持续训练或多模态训练的实际经验,能够独立承担模型与训练方案的设计和验证。
2. 模型理解与实现能力:熟练掌握 PyTorch,深入理解 Transformer、Attention、优化方法及大模型训练过程。
3. 实验设计与分析能力:具备严谨的实验设计、结果分析和代码实现能力,能够完成可复现的对照实验。
4. 训练工程能力:具备多卡训练、训练诊断及必要的性能优化能力。
【加分项】
- 相关研究与实践经验:具有 VLA、世界模型、视频表征学习、Diffusion / Flow Matching 或机器人学习经验。
- 论文发表:在 NeurIPS、ICML、ICLR、CVPR、ICCV、ECCV、CoRL、RSS、ICRA、IROS 等会议或相关期刊发表过论文,研究方向涉及基础模型、多模态学习、具身智能或机器人学习。