岗位描述
负责大模型预训练任务的稳定性建设与故障治理,设计并实现高容错、高可恢复性的训练系统。深入训练框架和分布式系统底层,定位复杂训练问题,提升大规模训练任务的成功率与资源利用效率。
岗位职责
负责大规模训练任务的异常分析、问题定位与故障归因。
建立训练错误分类体系,完善日志分析、监控告警与故障追踪机制。
参与设计和实现训练容错机制。
参与训练框架开发与优化,提升系统鲁棒性与可维护性。
参与分布式训练环境调试,定位 GPU、网络、通信库和框架层问题。
沉淀训练故障知识库与排障工具链,提升整体研发效率。
任职要求
计算机、人工智能、软件工程等相关专业本科及以上学历。
熟练掌握 Python / PyTorch,具备良好的工程开发能力。
理解分布式训练基本原理。
熟悉 GPU 通信机制等基础知识。
具备较强的问题分析与系统调试能力。
加分项
具有长周期大模型训练经验。
具有 Megatron-LM、FSDP 等框架开发经验。
具有大规模集群训练运维经验。
具有 GPU 故障定位与性能分析经验。
具有训练稳定性建设相关经验。
具有使用 agent 搭建监控系统经验。