与爱为舞-大模型推理优化研发工程师

【公司简介】

点击查看与爱为舞专属图文介绍

北京与爱为舞科技有限公司成立于2023年5月，致力于通过人工智能技术打造全新的AI教育新范式。全面提升人才培养效果、培养规模的同时，显著降低培养成本。公司总部位于北京，并在上海建立研发中心。核心产品和服务依托于AIGC（生成式人工智能）技术，希望打造一个全时、全知、全能的AI Tutor。借助先进的大语言模型、数字人和语音技术，构建个性化、时时在、用得起的专属全能AI导师。不仅根据每个人的兴趣爱好、当下水平、学习效率、情绪状态和个人性格进行教学方法和形式的调整，互动节奏的优化，还能提供量身定制的教育解决方案，真正成为每一个人的终身学习伴侣。公司致力于通过技术创新，实现有教无类和因材施教的教育理想。

【岗位职责】

1. 优化大模型推理性能，降低大模型推理时延，提升吞吐，包括但不限于模型剪枝、模型量化、模型蒸馏、模型压缩等；

2. 适应并充分利用硬件资源，控制模型部署成本；

3. 对模型训练和部署时出现的精度与性能问题进行分析和调优，识别和解决瓶颈问题，提高模型的训练和推理速度；

4. 推动深度学习优化算法的研发和产业落地。

【任职要求】

1. 硕士学历以上，计算机/软件/人工智能相关专业加分；

2. 扎实的C++代码能力，具备深度学习应用加速和优化的经验，能够根据不同场景和硬件平台进行针对性的优化；

3. 熟练掌握TensorFlow、PyTorch等至少一种深度学习框架；

4. 具备良好的沟通和团队合作能力，能够与跨团队密切合作，解决问题并实现共同目标。

加分项：

1. 有语音（TTS、ASR）模型推理优化经验；有数字人模型推理优化经验； 熟悉LLM主流推理引擎，如vLLM；

2. 熟悉CUDA Kernel开发，有底层算法性能调试及加速经验；

3. 熟悉Onnx/TensorRT/Triton经验者优先；

4. 有AIGC模型推理和训练加速落地经验者优先；熟悉常见的推理优化方法，如FlashAtention、PageAttention、Continuous Batching、Speculative Decoding等；

5. 熟悉分布式推理加速框架，有超大模型分布式加速经验优先。