锦鲤求职岗位描述
工作内容
岗位核心价值：
负责公司 AI 训练与推理平台的架构设计、建设落地和持续优化，支撑大模型、自动驾驶等业务的模型训练、微调、评估与在线推理。围绕分布式训练、高性能推理、GPU 资源调度及异构算力适配，建设高性能、高可用、易用的 AI 基础设施，提升模型研发效率、训练稳定性和推理服务性价比。
核心工作职责：
训练与推理平台建设
主导或参与 AI 训练与推理平台的架构设计与研发，建设训练任务管理、模型与 Checkpoint 管理、模型部署、推理服务管理等核心能力，打通从模型训练、微调、评估到部署上线的工作流程。
分布式训练支持与优化
负责 PyTorch、Megatron-LM、DeepSpeed、FSDP、Ray Train 等训练框架与平台的适配集成，支撑多机多卡训练及大模型微调。围绕训练吞吐、显存占用、通信开销、数据加载等环节开展分析与优化，提升训练效率和运行稳定性。
推理服务与性能优化
负责基于 vLLM、SGLang、TensorRT-LLM、Triton Inference Server 等引擎构建模型推理服务，建设模型加载、版本管理、灰度发布、弹性伸缩、流量路由和服务监控等能力。结合业务场景优化批处理、KV Cache、模型量化及并行推理策略，提升吞吐、降低延迟与单位请求成本。
训练任务可靠性与诊断能力建设
建设训练任务编排、运行监控、失败诊断、自动重试、Checkpoint 保存与恢复、断点续训等能力。定位并解决训练卡死、NCCL 超时、Rank 异常、显存溢出及性能下降等问题，降低故障对长周期训练任务的影响。
面向训练与推理的算力调度
基于 Kubernetes、Volcano、Kueue、Slurm、Ray 等技术，建设适配训练与推理负载的资源管理和调度能力，覆盖多租户配额、队列优先级、Gang Scheduling、拓扑感知、GPU 共享及弹性伸缩等场景，平衡训练吞吐、推理服务质量与资源利用率。
异构算力适配与端到端性能分析
参与 NVIDIA GPU 及国产 AI 加速卡在训练与推理场景中的适配，覆盖驱动、容器镜像、训练框架、推理引擎、算子兼容和模型迁移。结合 GPU、网络、存储及框架层分析工具，定位性能瓶颈，推动模型在不同算力环境中的稳定运行与性能优化。
任职条件
工作经验
5 年以上 AI Infra、机器学习平台、云原生平台或基础架构相关经验，其中 3 年以上 AI 训练平台、推理平台或 GPU 算力平台建设经验；具备训练或推理至少一个方向的深入实践，并理解另一方向的核心工作流程。
分布式训练能力
熟悉 PyTorch 及其分布式训练机制，理解 DDP、FSDP、ZeRO，以及数据并行、张量并行、流水线并行等常见策略。具备多机多卡训练任务部署、平台接入或性能优化经验，熟悉 Megatron-LM、DeepSpeed、Ray Train 等至少一种相关框架。
模型推理与服务化能力
熟悉模型部署与在线推理的基本流程，具备 vLLM、SGLang、TensorRT-LLM、Triton Inference Server 等至少一种推理引擎的使用、集成或优化经验。理解动态批处理、KV Cache、模型量化及并行推理等机制，能够结合吞吐、首 Token 延迟、Token 间延迟和显存占用分析服务性能。
通信与故障排查能力
理解 NCCL、MPI、Gloo 等分布式通信机制，具备训练或推理任务故障排查经验，能够分析通信超时、进程异常、显存溢出、GPU 利用率低及多卡扩展效率不佳等问题。
云原生与任务编排能力
熟悉 Kubernetes 的 Pod、Job、CRD、Operator、资源配额、存储挂载及调度机制，具备容器化 AI 任务部署与排查经验；熟悉 Volcano、Kueue、Slurm、Kubeflow、Ray 等至少一种系统的使用、集成或开发。
GPU 资源管理能力
理解 GPU 资源分配、MIG、GPU 共享及其隔离边界，熟悉队列调度、Gang Scheduling、拓扑感知或弹性调度等场景，能够根据训练与推理负载特征设计资源使用方案。
工程开发能力
熟练掌握 Go / Python 至少一种编程语言，能够独立开发平台后端服务、训练与推理接入组件、任务控制器或性能诊断工具，具备良好的系统设计和工程交付能力。
优先经验
有大模型预训练、SFT、LoRA / QLoRA 微调、强化学习训练，或自动驾驶模型训练平台建设与支撑经验。
有生产级推理平台建设经验，支撑过高并发、多模型部署或严格延迟要求的在线服务。
有训练或推理性能优化成果，能够量化说明训练吞吐、多卡扩展效率、推理延迟、显存占用或资源成本的改善。
有训练框架、推理引擎、分布式任务控制器或调度系统二次开发经验。
熟悉 InfiniBand / RoCE、RDMA、GPU 互联、分布式存储及高吞吐数据加载，具备端到端瓶颈分析经验。
熟悉 PyTorch Profiler、Nsight Systems、NVIDIA DCGM、Prometheus / Grafana 等性能分析与监控工具。
有国产 GPU / AI 加速卡上的模型训练、推理引擎适配、模型迁移或算子性能优化经验。
有平台产品化经验，能够从算法研发及业务服务视角改善训练调试、模型部署、监控诊断和资源使用体验。