岗位描述
岗位职责
1、负责多模态感知、多模态融合算法研发,涵盖图像、语音、文本、点云等模态信息联合建模;面向智能座舱、车载交互场景,实现多模态理解、意图识别、多轮交互;
2、调研、复现前沿多模态大模型(CLIP、LLaVA、Qwen-VL、Gemini 等),开展模型微调、SFT、多模态 RAG、跨模态检索等技术落地;
3、设计多模态数据集方案,参与数据清洗、标注规范制定、数据增强,构建场景专属多模态训练数据集;
4、开展算法实验、效果评估、消融实验,输出实验报告;持续优化模型精度、响应速度、鲁棒性,解决场景噪声、光照、语音干扰、模态缺失等现实问题;
5、和工程、产品、嵌入式团队协作,完成算法方案输出、接口定义,配合完成模型移植、端侧部署验证,保障在智能座舱上实现商用。
岗位要求
1、硕士研究生及以上学历,计算机、人工智能、自动化、电子信息、模式识别等相关专业;
2、拥有扎实的机器学习、深度学习基础,熟悉卷积网络、Transformer、注意力机制等核心理论;
3、熟练使用 PyTorch/TensorFlow 进行模型训练与实验开发;熟练使用 Python;
4、熟悉至少一类模态基础技术:计算机视觉 / 语音信号处理 / NLP。