软件工程师 - 推理系统

团队介绍
在 SmartX 超融合及企业云产品之上，构建面向企业的高性能 AI 推理平台，负责大模型推理系统研发与性能优化，持续提升推理吞吐、降低服务延迟和资源消耗，帮助企业客户实现大模型生产化落地。

岗位职责
参与大模型推理系统研发及性能优化工作；
基于 vLLM、SGLang、TGI、Triton 等推理框架构建和优化推理服务；
负责推理链路性能分析与调优，包括 TTFT、TPS、吞吐量、延迟及 GPU 利用率等核心指标；
参与 KV Cache、Prefix Cache、Continuous Batching 等推理优化能力建设与优化；
分析并解决推理服务中的显存、GPU、网络及调度层性能瓶颈；
参与模型部署、服务编排及推理加速方案设计与落地；
持续跟踪推理框架及推理优化技术发展；
调研并落地 PagedAttention、Chunked Prefill、Speculative Decoding、FlashAttention 等推理优化技术；
推动优秀技术方案在产品中的落地应用。

任职要求
1-3 年软件研发经验，计算机相关专业本科及以上学历；
熟练掌握 Go、C++ 或 Python 至少一种开发语言，熟悉 Linux 开发环境；
具备大模型推理服务开发或推理性能优化经验，实际使用过 vLLM、SGLang、TGI、Triton 等至少一种推理框架；
理解大模型推理流程及 Prefill、Decode 等核心阶段；
具备 KV Cache、Prefix Cache、Continuous Batching 等推理优化相关实践经验；
具备 GPU 推理性能分析与调优经验；
能够独立分析和定位推理系统性能瓶颈。

加分项
熟悉 PagedAttention、Speculative Decoding、Chunked Prefill 等推理优化技术；
具备 CUDA、TensorRT、TensorRT-LLM、NCCL 等相关经验；
参与过推理框架或推理引擎相关开发工作；
有相关开源项目贡献经历。