AI 训练系统工程师

岗位职责
核心职责
1、建设训练流水线，关联代码、数据、配置和运行环境，支持实验追踪、产物归档及结果复现。
2、优化数据读取、预处理与训练衔接，定位算力等待、存储吞吐和内存瓶颈，缩短有效实验周期。
3、根据模型规模和资源需求支持多卡及分布式训练，分析计算、通信和显存开销，验证优化收益。
4、完善任务提交、检查点、失败恢复和异常诊断机制，减少重复计算并记录资源使用和实验成本
5、与算法团队共同接入训练及评测任务，将工程能力沉淀为可复用组件，支持新模型和新数据接入。

岗位要求
1. 在分布式系统、并行计算、机器学习系统、计算机体系结构或高性能计算等方向具备扎实基础，熟练使用 Python 和 Linux。
2. 深入理解 PyTorch 等训练框架的执行机制，能够阅读和分析数据加载、自动求导、显存管理、通信及检查点相关代码。
3. 熟悉 DDP、FSDP、DeepSpeed、Megatron 等分布式训练技术中的一种以上，能够定位计算、通信、网络、存储和显存瓶颈。
4. 能够独立设计实验跟踪、模型文件管理、任务调度、故障恢复和资源成本统计方案，并通过基准测试验证优化效果。
5. 具备训练性能优化、分布式训练、数据加载优化、混合精度、并行策略或加速器适配中的深入实践。
6. 深入了解深度学习相关理论，具有模型蒸馏/轻量化等工程实践经验。

优先条件：
1. 在训练系统、分布式计算、通信优化、存储系统或资源调度方向具备论文、专利、开源项目或生产系统落地成果。
2. 具备多模态、机器人学习或大模型训练系统经验，能够处理复杂样本和变长输入。
3. 具备混合精度、并行策略、通信优化、检查点恢复或训练故障诊断经验。
4. 具备集群调度、容器化环境、实验平台或异构加速器适配经验。
5. 熟练使用AI Native工具。