岗位描述
岗位职责
岗位定位:负责机器人语音交互与多模态输入输出能力,提升机器人“听、说、看、感知情绪”的能力。
核心职责:
1.负责机器人语音交互链路建设,包括ASR、TTS、VAD、唤醒词、降噪、回声消除、声源定位等。
2.负责远场麦克风阵列、语音识别、语音合成在机器人端的集成与优化。
3.负责文本、语音、视觉等多模态信息的融合,支持情绪识别和交互意图识别。
4.对接AgentRuntime,将语音和多模态识别结果传入大模型交互系统。
5.优化语音响应延迟、识别准确率、嘈杂环境鲁棒性和交互体验。
6.支持机器人表情、动作、语音之间的情绪一致性输出。
岗位要求
1.硕士及以上学历,博士优先,人工智能、语音信号处理、计算机、电子信息等相关专业。
2.熟悉ASR/TTS/VAD/AEC/降噪等语音技术。
3.熟悉Python,了解PyTorch或ONNX推理部署。
4.熟悉Whisper、FunASR、Sherpa-ONNX、WebRTCAudioProcessing、CosyVoice、Edge-TTS等一种或多种技术。
5.了解多模态大模型、情绪识别、视觉理解、语音情感识别等方向。
6.具备较强工程集成能力,能够在实际机器人设备上调试语音链路。
加分项:1.有智能音箱、车载语音、服务机器人、数字人项目经验。2.熟悉远场麦克风阵列、声源定位、回声消除。3.有边缘端模型部署经验。4.有情感计算、多模态交互项目经验。