智算集群运维工程师

岗位职责
1. 负责大规模GPU集群从服务器到 Kubernetes 资源池的全生命周期运维。
2. 负责 NVIDIA GPU 驱动、GPU Operator、Device Plugin、DCGM 和容器GPU 运行环境。
3. 负责 IB/ROCE、RDMA、PFC/ECN、NCCL 训练网络的需求、验收与故障定位，并与IT 网络团队协作。
4. 负责 Kubernetes 控制面、节点、CNI、CSI、容器运行时、DNS、证书和升级。
5. 负责训练存储、共享文件系统、对象存储接入、缓存和数据挂载健康。
6. 保障大规模分布式训练，处理调度失败、NCCL timeout、掉卡、性能退化和节点故障。
7. 建设自动化纳管、巡检、变更、排空、恢复和退役能力。
8. 参与值班、重大任务保障、故障复盘、容量规划和供应商协同。

岗位要求
1. 5年以上 Linux/Kubernetes/HPC或智算基础设施经验，3年以上生产 Kubernetes 运维经验。
2. 深入理解 Kubernetes 控制面、调度、网络、存储和节点故障定位。
3. 熟悉 NVIDIA GPU 软件栈，能够分析 Xid、ECC、驱动、容器运行时和GPU 性能问题。
4. 熟悉 InfiniBand或 ROCEV2，理解 RDMA、PFC、ECN、MTU、GID、NCCL 和拓扑。
5. 熟悉多机多卡训练、PyTorch Distributed/MPI/NCCL 中至少一类。
6. 熟悉 NFS、Ceph/并行文件系统、对象存储或高性能缓存中的两类以上。
7. 具备 Python、Go、Shell 或 Ansible 自动化能力，能够把人工SOP产品化。
8. 具备生产事故处置、变更管理、文档和跨团队沟通能力。