岗位描述
负责大模型预训练框架的设计、开发与持续演进,构建高性能、高稳定性、可扩展的训练系统。参与从单机到超大规模 GPU 集群的训练框架建设,支撑下一代基础模型的训练与迭代。您将与算法团队紧密合作,将前沿训练方法快速落地到大规模训练环境中,并持续提升训练效率、资源利用率和系统稳定性。
岗位职责
负责预训练框架核心模块的设计、开发与维护。
支持新模型结构、新训练算法和新并行策略在训练框架中的落地。
设计和优化分布式训练机制。
持续优化训练吞吐、显存利用率和集群资源利用率,提升整体训练效率。
参与训练框架的稳定性建设,保障长程训练。
参与训练性能分析,定位计算、通信、存储和调度链路中的瓶颈问题。
与算法团队协作,将最新研究成果快速集成到训练系统中。
任职要求
计算机相关专业本科及以上学历。
扎实的软件工程能力,熟练掌握 Python 或 C++。
具备较强的系统开发与调试能力。
熟悉分布式训练基本原理。
熟悉业界热点模型架构和优化器。
具备较强的问题分析和性能优化能力。
对大规模训练系统和基础模型研发有浓厚兴趣。
加分项
具有大规模 GPU 集群训练经验。
具有训练性能优化经验。
具有大模型预训练相关研发经验。
具有开源训练框架核心贡献经验。