岗位描述
岗位背景
大规模AI训练与推理正在推动存储系统向更高吞吐、更低尾延迟、更大命名空间和更强并发能力演进。我们正在建设面向AI场景的高性能分布式文件存储系统,支持训练数据、模型权重和Checkpoint的高效访问与可靠存储。
你将负责系统架构和关键技术方向,统筹性能、数据语义、可靠性、扩展性与资源成本之间的取舍,带领研发团队完成核心技术攻关及生产落地,并持续参与关键模块研发。
岗位职责
1、主导分布式文件存储系统的整体架构设计与演进,制定技术路线、模块边界和关键接口,明确阶段目标及验收标准,推动架构决策落地。
2、主导元数据架构设计,解决命名空间分片、目录扩展、跨分片操作、热点治理和在线迁移等问题,提升大规模文件与高并发访问场景下的扩展能力。
3、定义文件系统语义与一致性边界,设计缓存一致性、锁与租约、分布式事务、持久化及故障恢复机制,保障正常、故障和恢复过程中的数据正确性。
4、主导客户端与数据服务架构,优化数据布局、并行I/O、缓存及网络通信机制,结合软硬件能力提升吞吐、IOPS和尾延迟表现。
5、面向AI工作负载制定优化方案,覆盖训练数据加载、模型分发、Checkpoint写入与恢复,推动存储与GPU、网络和计算调度的协同优化。
6、建设可靠性和可运维性体系,规划故障域、数据保护、自动修复、重平衡、在线升级与回滚机制,推动故障演练和生产问题治理。
7、建立容量与性能模型、评测基线和系统级验证方法,识别扩展瓶颈,评估技术选型与资源成本,指导规模化部署。
8、负责关键方案评审、核心代码开发与技术攻关,培养核心模块负责人,提升团队在系统设计、工程交付和复杂问题分析方面的能力。
任职要求
1、本科及以上学历,计算机相关专业;八年以上存储或分布式系统研发经验,其中五年以上文件系统或分布式文件存储研发经验。
2、有主导分布式或并行文件存储系统架构设计、重大架构演进或关键子系统建设的经历,相关方案已在生产环境落地。
3、深入理解文件存储的端到端架构,能够清晰分析元数据、客户端、数据布局、一致性、故障恢复和扩展性之间的相互约束;在其中至少两个方向有深入研发与技术决策经验。
4、深入掌握POSIX文件语义、缓存一致性、分布式锁与租约、持久化和恢复机制,能够针对网络分区、节点故障及并发操作设计正确性保障方案。
5、精通C/C++及Linux系统编程,具备持续参与核心代码开发的能力,能够带领团队解决复杂的并发、性能和数据一致性问题。
6、熟悉高性能网络与存储I/O栈,有跨客户端、网络和服务端的性能优化经验,能够基于负载特征评估RDMA、异步I/O、零拷贝及硬件卸载等方案。
7、有大规模生产系统的性能分析、故障治理和架构演进经验,能够建立容量与性能模型,并以测试和生产数据验证设计取舍。
8、具备技术规划和跨团队协作能力,能够拆解复杂目标、确定优先级、识别交付风险,并推动团队形成可维护、可验证的工程实现。
加分项
1、有从零到一建设文件存储系统,或推动系统跨越容量、客户端数量、元数据规模及吞吐瓶颈的经历。
2、对Lustre、BeeGFS、IBM Spectrum Scale/GPFS、CephFS、DAOS或同类系统有深入研究、研发或架构实践经验。
3、有GPUDirect Storage、训练I/O、模型加载或大规模Checkpoint系统设计经验。
4、有RDMA、NVMe、DPU、ARM64或其他存储软硬件协同设计经验。
5、有资源隔离、权限控制、配额、QoS,以及容器或虚拟化环境存储接入的系统设计经验。
6、有开源项目核心贡献、相关技术论文,或带领核心研发团队完成长期技术演进的经历。