岗位描述
职位描述:
负责国产芯片平台上的千亿/万亿大模型(语言/多模态等)训练全流程研发,包括:大模型数据集构建、预训练、微调、对齐等算法研究、大规模训练策略、加速与性能优化、与底层软件栈团队协作进行存储、计算、通信调优。
任职要求:
1.硕士及以上学历,计算机或相关专业,6年以上算法、深度学习框架相关经验
2.较强专业技能与解决问题的能力,有大模型相关实际成果如顶会论文、比赛获奖或知名开源大模型核心研发经验
3.熟悉大模型算法演进,对主流算法结构和演进有充分认识,并能结合国产硬件特点进行分析
4.熟知大模型训练相关技术如并行策略和前沿技术演进,能进行模型算子分析、并行方式设计、框架开发、训练调试和性能优化
5.熟练掌握一个或多个深度学习框架(如DeepSpeed、Megatron、PyTorch,PaddlePaddle等)
6.熟练使用Python、C/C++、CUDA及类CUDA、Triton-lang等语言
7.具备跨团队协作能力,能协同硬件、驱动、计算库、通信库、工具链、运维等完成大模型训练任务,解决精度、性能和稳定性等问题
8.熟悉大模型训练全链路,主导过千亿以上参数模型实际训练
加分项:
1.主导过有影响力的大模型项目或开源贡献
2.熟悉模型压缩、量化如QAT等、训推一体架构