岗位描述
岗位职责
1. 设计、构建、训练和优化面向机器人交互场景的端到端多模态大模型架构;
2. 探索和实现模型对多模态输入(语音、文本、图像/视频、深度信息、传感器数据、环境上下文等)的深度融合与理解;
3. 研发模型生成多模态输出(语言语音、情绪、表情、移动、行为动作等)的能力,确保输出的一致性与自然性;
4. 重点攻克人机交互闭环中的关键问题:上下文记忆与理解、意图识别与澄清、个性化交互、情感感知与表达、长时程对话一致性、任务导向交互等;
5. 跟踪生成式AI和多模态交互技术前沿,推动人形机器人智能化。
岗位要求
1. 重点院校计算机、人工智能、信号处理、语音语言等相关专业硕士及以上;
2. 扎实的机器学习/深度学习理论基础,了解主流多模大模型的基本原理和训练方法;
3. 具备良好的编程能力,熟练掌握Python,熟悉TensorFlow、PyTorch等至少一种主流深度学习框架;
4. 关注生成式AI和多模态交互技术,对推动人形机器人智能化有热情;
5. 熟悉VLM/VLA/WAM/VLP/MLM等多模态任务建模,具备跨模态模型设计与训练经验;
6. 理解多模态对齐(如cross-attention、token-level alignment)、条件生成、多模态融合机制;
岗位要求
1. 重点院校计算机、人工智能、信号处理、语音语言等相关专业硕士及以上;
2. 扎实的机器学习/深度学习理论基础,了解主流多模大模型的基本原理和训练方法;
3. 具备良好的编程能力,熟练掌握Python,熟悉TensorFlow、PyTorch等至少一种主流深度学习框架;
4. 关注生成式AI和多模态交互技术,对推动人形机器人智能化有热情;
5. 熟悉VLM/VLA/WAM/VLP/MLM等多模态任务建模,具备跨模态模型设计与训练经验;
6. 理解多模态对齐(如cross-attention、token-level alignment)、条件生成、多模态融合机制;
我们还希望你:
1. 有端到端多模态大模型研究经验;
2. 在CVPR、NeurIPS、ICLR、ACL等会议发表多模态相关工作者;
3. 具有优秀的代码能力和竞赛精神,ACM/ICPC、RoboMaster等比赛获奖者优先。