岗位描述
岗位职责
1. 参与智能多模态交互端到端大模型的研发,打造极致类人的全双工交互体验,方向包括多轮对话拟人化回复、视觉及听觉环境感知主动交互、交互时机判定(流式判停、打断、拒识等)、工具调用、harness开发等;
2. 支持机器人在真实场景中的多模交互落地,推动家庭服务、工业操作、医疗辅助、教育陪伴等场景的交互体验优化;
3. 跟踪端到端语音交互模型、视听觉大模型、参数化表情/动作预测等学术界与工业界最新进展,探索新方法并应用到具身机器人交互智能场景;
4. 与听觉感知、视觉感知及机器人运控导航团队协作,优化端到端交互链路的响应速度、自然度与稳定性。
岗位要求
1. 重点院校计算机、人工智能、信号处理、语音语言等相关专业硕士及以上;
2. 扎实的机器学习/深度学习理论基础,了解主流多模大模型的基本原理和训练方法;
3. 具备良好的编程能力,熟练掌握Python,熟悉PyTorch深度学习框架;
4. 对具身智能、机器人交互领域有浓厚兴趣;
5. 具备快速学习和独立解决问题的能力,有良好的团队协作意识。
我们还希望你:
1. 有语音/视觉交互大模型研发相关经验,并对harness/agent有一定的经验;
2. 在国际顶级会议/期刊(包含但不限于NIPS、ICLR、CVPR、ICASSP、Interspeech)发表过相关论文;
3. 在语音或机器学习相关竞赛中获得过领先名次。