LLM推理框架开发工程师

岗位职责：

负责LLM推理框架的研发与部署，构建低延时、高效率的端到端推理能力，推动核心功能量产落地。

设计并开发LLM推理框架，持续优化端到端延时与性能开销；

定位系统性能瓶颈，协同算法与硬件团队优化模型架构与计算效率。

任职要求

具备开发推理框架与优化经验，熟悉至少一种主流推理引擎（MLC-LLM / TensorRT-LLM / vLLM / llamacpp等）；

掌握模型压缩量化、算子融合、并行计算、采样优化、KV缓存等推理加速技术；

熟悉芯片架构（GPU/NPU/DSP等），具备高性能计算优化与调优能力；

精通C++/Python，代码规范良好，具备文档撰写与团队协作能力；

本科5年/硕士3年以上相关经验，熟悉计算机体系结构与深度学习算法。

优先考虑

具备英伟达平台大模型部署与CUDA开发调优经验；

熟悉MLC-LLM/TVM等编译优化技术并具有开发经验，

在大模型推理加速领域有论文发表或开源贡献。