私有化大模型推理工程师

岗位职责
1、负责大模型在 GPU 服务器及小规模 Kubernetes 集群中的部署、运行维护和性能调优。
2、使用 vLLM、SGLang、TensorRT-LLM 等推理框架部署模型服务，完成模型加载、显存规划、KV Cache、并发、Batch 等参数配置与优化。
3、根据模型规模、上下文长度、并发量和 GPU 资源，进行单机多卡或小集群的容量规划和性能压测，关注 TTFT、生成速度、吞吐量等指标。
4、参与 Kubernetes 上的模型服务部署，包括 GPU 资源配置、服务暴露、存储、监控告警和故障恢复。
5、定位模型 OOM、加载失败、GPU 利用率低、性能下降、Pod 异常、驱动及网络等常见问题。
6、参与企业私有化及离线环境交付，完善安装脚本、环境检测、部署文档和故障排查工具。
7、根据项目需要参与国产 AI 加速卡及多节点推理相关适配工作。

岗位要求
1、计算机或相关专业本科及以上学历，2 年及以上后端、云原生、AI 工程化或相关经验。
2、熟悉 Python 或 Golang，具备自动化工具或服务开发能力。
3、熟悉 Linux、Docker、Kubernetes，具备实际部署和问题排查经验。
4、使用过 vLLM、SGLang、TensorRT-LLM 或其他大模型推理框架。
5理解大模型推理中的显存占用、KV Cache、Batch、并发、上下文长度、TTFT、吞吐等基本概念。
6、有 NVIDIA GPU 使用或部署经验，能够根据 GPU 资源对模型服务进行基本调优。
7、具备较强的问题分析和解决能力，能够将常见问题沉淀为脚本、规则或文档。

优先条件
1、有单机多卡或小规模 GPU 集群推理调优经验。
2、有 KServe、GPU Operator、DCGM、Prometheus/Grafana 等使用经验。
3、了解 TP、DP、NCCL、多节点推理等相关技术。
4、有模型量化、AWQ、GPTQ、FP8 等经验。
5、有私有化、离线环境或企业项目交付经验。
6、有昇腾、昆仑芯、寒武纪、海光等国产 AI 加速卡经验优先。