岗位描述
岗位职责
● 设计、开发并维护面向内部研发团队和外部客户的 AI 算力服务,支持模型训练、推理、批量计算以及多机多卡分布式任务,保障服务稳定、高效运行。
● 负责内部 AI 服务的部署、升级、运维与日常维护,持续优化服务可用性、资源利用率和用户体验。
● 设计并提供标准化的 AI API / SDK / Service,与 Infra 团队协作完成计算、网络、存储、Kubernetes、资源调度等基础设施能力的对接和集成。
● 集成 AI Accelerator SDK、Runtime、Driver、通信库等软件栈,打通训练/推理框架到底层硬件的完整链路。
● 支持 JAX、PyTorch等主流框架,以及vLLM、SGLang 等推理引擎在云平台上的部署、运行和性能优化。
● 基于 Kubernetes、Container 等技术建设 AI 算力基础设施,负责算力资源的发现、分配、调度、隔离及生命周期管理。
● 建设监控、日志、告警和故障诊断能力,解决资源、节点、设备及分布式任务相关的生产环境问题。
● 与 Framework、Runtime、Compiler、Infra 等团队协作,持续优化 AI 软件栈与云基础设施的端到端能力。
任职要求
● 具备 AI 算力平台、云平台或分布式系统相关研发经验,有 AI 服务部署、集成及生产环境维护经验。
● 熟悉 JAX、PyTorch等框架,理解模型训练、分布式训练、多机多卡任务的运行机制;熟悉训练任务的环境配置、启动、Checkpoint、恢复及性能分析。
● 熟悉至少一种主流推理引擎或 Model Serving Framework,如 vLLM、SGLang、Triton、TensorRT-LLM 等,理解模型部署、请求调度、Batching、显存/内存管理及推理性能优化。
● 熟悉 Linux、Docker / Container 和 Kubernetes,理解 Pod、Node、Scheduler、资源分配、Device Plugin、网络及存储等核心机制,能够在 Kubernetes 环境中部署和维护 AI Workload。
● 理解 GPU / NPU 等 AI Accelerator 的基本软件栈,包括 Driver、Runtime、SDK、通信库及设备资源管理,能够完成训练/推理框架与底层加速器软件栈的集成。
● 具备云服务或平台服务开发经验,熟悉 REST / gRPC API、SDK 或 Service 的设计与实现,能够与计算、网络、存储及其他 Infra 系统完成接口对接。
● 具备较强的系统 Debug 和 Troubleshooting 能力,能够处理资源无法分配、任务调度失败、节点/设备异常、Runtime / Driver 错误、分布式任务失败等复杂问题,并跨 Framework、Kubernetes、Runtime 到硬件进行端到端定位。
● 理解分布式系统中的故障检测、任务重试、自动恢复、资源隔离和生命周期管理等机制,具备生产环境稳定性意识。
● 熟悉 Monitoring、Logging、Metrics 和 Alerting 等可观测性体系,能够基于日志和监控数据进行问题定位、性能分析和故障恢复。
● 熟练掌握 Go、C++、Rust 中至少一种系统开发语言,熟悉 Python,具备良好的工程实现和代码质量意识。
● 具备良好的跨团队协作能力,能够与 Infra、Framework、Runtime、Compiler 等团队共同推进系统集成及复杂问题解决。