锦鲤求职岗位描述
岗位职责
参与 LLM 推理引擎（如 vLLM、SGLang、TensorRT-LLM、TGI 等）的定制开发与性能调优；
参与国产算力（昇腾、寒武纪、海光等）上的推理引擎适配与性能优化，包括算子开发、图编译优化、通信库调优等；
参与推理服务化框架建设，包括请求调度、动态批处理（Continuous Batching / In-flight Batching）、Prefix Caching、投机采样（Speculative Decoding）等核心模块开发；
参与模型部署优化，涵盖 Tensor Parallelism、Pipeline Parallelism、Expert Parallelism（MoE）等多卡并行策略的工程实现；
参与推理集群的观测体系、自动扩缩容、故障自愈与 GPU/NPU 显存池化等稳定性建设；
跟踪 LLM 推理领域前沿技术（如 Disaggregated Serving、KV Cache 卸载、PD 分离等），推动创新方案在国产算力上落地。
岗位要求
任职要求
学历背景：计算机科学、数学等相关专业，2027/硕士/博士毕业生；
编程基础：扎实的 C++/Python 编程功底，熟悉数据结构与算法，具备优秀的工程实现能力；
系统基础：熟悉操作系统、计算机网络、分布式系统原理，了解 Linux 开发环境及性能分析工具；
AI 基础：理解 Transformer 架构及生成式模型推理流程，熟悉至少一种深度学习框架（PyTorch/MindSpore）；
学习能力：对 LLM 推理优化有强烈兴趣，具备快速阅读论文、复现开源项目并改进的能力；
沟通协作：良好的团队合作意识，能与算法、产品、运维团队高效协同。
加分项
熟悉 GPU 体系结构与 CUDA 编程，了解 PagedAttention、FlashAttention、FlashInfer 等内核优化技术；
熟悉国产算力架构（如昇腾 CANN、寒武纪 BangC、海光 ROCm 等），有 NPU 算子开发或模型迁移经验；
有国产推理框架（MindSpore、PaddlePaddle、OneFlow 等）使用或二次开发经验；
有 vLLM、TensorRT-LLM、SGLang、DeepSpeed-Inference 等推理框架的实际使用或二次开发经验；
熟悉 Kubernetes、Docker，有云原生服务部署或 K8s Operator 开发经验；
参与过开源推理项目贡献（如 vLLM、SGLang、MindSpore、PaddlePaddle、llama.cpp 等），有合并 PR 或 Issue 解决记录；