岗位描述
岗位职责
1. 高性能通信库开发:设计支持 AllReduce、Broadcast 等操作的集合通信库,保障千卡集群通信效率。
2. 分布式系统适配:实现通信库与 PyTorch/DeepSpeed 框架的深度集成,优化多机多卡数据传输策略,解决网络延迟瓶颈。
3. 故障诊断与保障:开发通信故障监控工具,快速定位分布式训练中的数据不一致、网络超时问题,保障系统稳定性。大规模
岗位要求
1. 学历背景:“双一流”/985 高校硕士及以上学历,计算机、软件工程相关专业,3 年以上分布式系统开发经验。
2. 技术能力:
1) 精通 C++/Python,熟悉 Socket/RDMA 网络编程,有 NCCL 等通信库开发经验;
2) 掌握 MPI 并行计算框架与高速网络协议(RoCE/InfiniBand),理解集合通信算法原理;
3) 了解大模型分布式训练架构,能针对性优化通信调度逻辑。
加分项:有千卡级大模型通信优化经验、熟悉国产高速互连方案者优先