游戏智能NPC的多模态交互探索

岗位职责
多模态交互是指通过感知多种模态信息（如文字、图像、语音等），帮助人工智能更准确地理解外部世界。它涵盖了表征学习、跨模态对齐、跨模态理解、跨模态生成（AIGC）、多模态融合等子任务。在游戏智能NPC的场景中，多模态技术有着非常重要的作用。它不仅能够增强对用户情感和意图的理解，还能拓宽交互方式和应用场景，为用户提供更高效和愉悦的交互体验。通过融合多种感知模态，NPC能够更全面地理解用户的输入，并根据语音、图像等信息提供个性化的反馈和互动。这种交互方式不仅提升了游戏体验的沉浸感，还为玩家创造了更多元化的互动可能性，使游戏更具吸引力和趣味性。本课题将针对多模态技术在游戏智能NPC中的落地进行深入研究，为玩家提供更加丰富和有趣的游戏体验。

岗位要求
1、计算机基础扎实，编程能力良好，具备机器学习、自然语言处理、计算机视觉、预训练语言模型、多模态的基础知识；
2、熟练使用主流深度学习框架（pytorch等），能够主动follow前沿研究成果并独立复现，有实践经历者优先；
3、具备NLP&CV&多模态&大模型相关比赛获奖 / 人工智能顶会paper / 开源项目开发经验者优先；
4、对游戏+AI有强烈兴趣，热爱游戏者优先。