AI infra工程师（北京）

岗位职责
1. 性能评测体系建设
- 设计多维度Benchmark体系(Latency/Throughput/Cost/GPU利用率)
- 构建标准化测试集(模型规模、batch size、seq length)
- 支持多框架性能对比分析(PyTorch/TensorRT/vLLM/SGLang等)
2. 性能分析与优化
- 分析端到端推理链路瓶颈(Gateway/Scheduler/Runtime/GPU)
- 能结合业务场景进行性能调优（batch/KV cache/调度）
- 能识别并定位算子/Kernel级性能瓶颈，协同优化
- 优化复杂推理场景(多轮对话、Agent推理链路、Tool调用等)
3. 引擎调优与部署
- 理解主流推理引擎(vLLM/TensorRT-LLM/SGLang)工作机制
- 推理服务稳定性与资源效率优化
4. 平台与自动化
- 构建自动化性能测试平台与CI/CD集成
- 建立性能可观测体系(metrics/profiling/tracing)、性能回归与基线对比机制
- 与平台团队协作，推动性能标准化与工程化落地
5. 集群稳定性保障
- 负责推理服务高可用架构设计与稳定性保障
- 建立故障应急、容量评估与限流降级等机制
- 分析线上异常(延迟抖动、OOM、节点异常等)并推动闭环
- 优化资源利用率(GPU/CPU/网络)
- 承担推理服务相关的Oncall/故障响应工作

岗位要求
1、基础要求
- 计算机/软件工程相关专业
- 熟悉Linux系统，具备系统与性能分析能力
- 熟练使用Python/Go/C++至少一门
2、核心能力
- 熟悉深度学习推理流程与GPU性能调优
- 有推理框架调优经验(TensorRT/vLLM/SGLang等)
- 熟练使用性能分析工具(nsys/nvprof/perf/flamegraph等)
- 能独立分析线上推理性能问题(延迟抖动/吞吐下降)，且有推理问题定位闭环生产经验
- 有维护和管理大规模分布式系统的经验，熟悉k8s等容器技术
3、加分项
- 熟悉可观测体系(Prometheus/Grafana/OpenTelemetry)
- 大模型推理优化经验(LLaMA/多模态)
- 理解KV Cache、PagedAttention、Speculative Decoding等机制
- 有复杂推理链路经验(多轮对话、Agent推理链路、Tool调用等)
- 生产环境推理平台经验(千卡规模)