岗位描述
岗位职责
1. 多模态语音分离算法研究与创新
a. 系统调研语音分离、多模态融合领域顶会顶刊最新进展,梳理基于唇语、人脸关键点、说话人表征的多模态语音分离技术路线;
b. 复现 3-5 个主流多模态语音分离基线模型(如 Audio-Visual Speech Separation 系列、Lip2Speech 融合方案等),建立统一的训练、评估基准。
c. 座舱场景算法创新与优化:针对车内强背景噪声、多路麦克风阵列、多乘员同时说话、人脸姿态多变等特有挑战,设计适配座舱场景的多模态融合语音分离算法;
d. 学术论文产出,整理算法创新成果,撰写符合学术会议 / 期刊规范的研究论文;配合完成实验补充、论文修改与投稿相关工作。
2. 多模态数据收集整理与全链路 Pipeline 搭建,包括开源多模态数据集 Pipeline、视觉特征提取链路 Pipeline、座舱实车数据处理 Pipeline
岗位要求
1. 学历背景:计算机、信号处理、电子工程、人工智能等相关专业本科或硕士在读
2. 熟悉深度学习基础,了解常见神经网络结构(如CNN、RNN、Transformer);
3. 具备语音/音频处理基础,了解信号处理经典方法(如波束成形、时频分析);
4. 掌握Python编程,熟悉至少一种深度学习框架(PyTorch/TensorFlow);
加分项:
1. 有多模态学习、音频分离、计算机视觉相关项目或研究经验;
2. 熟悉音频生成、声源定位、视觉辅助语音分离(如唇动识别)等技术;
3. 发表过相关领域论文或竞赛获奖经历;