岗位描述
岗位职责
1. 并行训练策略设计与优化:基于Megatron-LM、DeepSpeed或同类框架实现/优化DP、TP、PP等并行策略与调度;
2. 并行策略自动搜索:构建或集成并行策略自动搜索系统,结合性能模型与运行时反馈在给定硬件/拓扑下选择最优并行与微批配置;
3. 动态负载均衡与内存优化:进行计算图分析,设计动态负载均衡与重计算/激活检查点/内存分配优化,降低OOM风险并提升吞吐;
4. 收敛与数值稳定保障:在性能优化过程中评估并保障训练收敛性与精度(如混合精度、梯度缩放、通信压缩对收敛的影响);
5. 系统集成与联调:与编译子系统、通信库集成、接口标准化与兼容性治理,推进全栈联调与版本发布。
岗位要求
1. 硕士及以上学历,计算机科学与技术、电子工程、人工智能、软件工程等相关专业;
2. 具有使用Megatron-LM、DeepSpeed、PyTorch FSDP等进行大模型分布式训练的经验;参与过并行策略自动搜索、调度优化或千亿参数级训练支撑项目者优先;有多机多卡集群训练性能调优与问题定位经验者优先;
3. 熟悉分布式训练基础与并行范式(DP/TP/PP/ZeRO/FSDP等),了解关键组件(optimizer、通信、checkpoint、数据管线等);熟悉PyTorch生态与训练工程实践,具备计算图/调度分析能力;掌握性能分析与故障定位方法(profiling、trace、日志、性能计数器等),并能将优化落地到生产训练流程;
4. 具备优秀的系统性问题分析和解决能力,良好的团队协作与沟通能力,能够承担有挑战性的研发任务,并具备较强的学习能力和创新思维;
5. 对国产AI芯片生态建设有热情,能适应阶段性高强度研发工作。有责任心,注重代码质量与工程规范。