岗位描述
负责大模型训练过程中数据访问、Checkpoint、日志等存储相关系统的设计与优化,提升训练系统的数据吞吐能力、可靠性和稳定性。参与构建面向超大规模训练任务的高性能存储基础设施。
岗位职责
负责训练数据访问链路优化。
负责 Checkpoint 系统设计与优化,提升保存、恢复和迁移效率。
负责训练日志与监控数据存储链路建设。
分析并解决训练过程中出现的 I/O 瓶颈与存储异常问题。
建立训练存储性能评测体系与监控体系。
任职要求
计算机相关专业本科及以上学历。
扎实的软件工程能力,熟练掌握 Python。
熟悉 Linux 操作系统及文件系统原理。
理解分布式文件系统的基础机制。
具备较强的问题定位和性能分析能力。
加分项
具有分布式文件系统开发经验。
具有存储系统开发经验(Ceph、Lustre、JuiceFS、Alluxio 等)。
具有大规模训练 DataLoader 优化经验。
具有 Checkpoint 系统设计经验。
具有 NVMe、RDMA、高速网络存储相关经验。