锦鲤求职岗位描述
岗位职责
主导超大规模（万卡级）大模型训练的基础设施建设。挑战物理极限与系统边界，解决软硬件协同、网络通信及分布式调度难题，保障大规模集群的高效、稳定运作。
岗位职责：
1.超大算力集群与物理底座
- 集群建设：主导万卡甚至十万卡级别 GPU 训练集群架构设计与选型。
- 网络与通信极致优化：深入剖析胖树架构等IB/RoCE网络拓扑，解决大规模同步训练下的网络拥塞。深度调优NCCL等底层通信库性能、能快速定位单机/跨机通信瓶颈。
2. 云原生调度与高并发存储
- 训练资源调度：摒弃传统环境迁移，通过深度定制K8s构建云原生调度系统。开发针对训练任务及周边的Operators和CRDs。
- 高并发存储架构：针对万卡集群训练场景，解决高并发模型检查点（Checkpoint）读写带来的极致存储 I/O 瓶颈，保障异构算力的虚拟化分配
3. 框架加速与并行策略优化：
- 支撑并深度定制 Megatron-LM、DeepSpeed 等分布式训练框架。优化3D并行（数据、张量、流水线并行）及跨节点通信策略，提升集群整体的 MFU（模型算力利用率）。
4. 集群自愈与智能运维 (Intelligent O&M)：
- 针对GPU掉卡、软死锁、网络降级、慢节点等复杂分布式训练故障，构建智能 RCA（根因分析）诊断体系。结合大模型与 MCP 技术，开发集群自愈的 O&M Agent。
岗位要求
基础能力：计算机相关专业;3-5年分布式系统或AI训练相关工作经验；精通Python或Go。
专业技能：
- 精通Kubernetes生态及大型分布式系统原理，具备万卡级/千卡级 GPU集群调度经验。。
- 熟悉Megatron、DeepSpeed等分布式训练框架及底层通信协议（NCCL、MPI）。
- 有成功支撑百亿/千亿参数大模型从0到1训练集群稳定性保障及训练任务故障RCA根因分析经验；
加分项：熟悉 Prometheus/Grafana/eBPF 等可观测体系；有千卡规模生产环境训练平台稳定性保障经验及复杂Agent链路优化经验