大模型推理工程师

岗位职责
1. 负责开源大模型的部署、推理优化与性能调优；

2. 基于推理引擎结合任务调度、PD分离、KV Cache管理等优化推理性能，提升吞吐量并降低延迟；

3. 针对不同GPU与模型搭配进行成本与效率分析，优化投入产出比；

4. 解决高并发、长文本、多轮对话等场景稳定性与性能瓶颈；

5. 跟踪业界大模型优化技术，评估并引入优化方案，持续提升模型效率与稳定性。

任职要求
1. 计算机／电子／AI相关专业，本科及以上学历，2 年以上大模型推理工程经验；

2. 熟悉C++/Python/Go等语言，熟悉 Linux与 GPU 编程，了解 CUDA 优先；

3. 熟悉 Transformer 与主流大模型 （Llama/Qwen/DeepSeek 等），有 vLLM/TensorRT-LLM/SGLang等框架实战经验；

4. 熟悉模型量化、算子优化、分布式推理，有实际落地经验者优先；

5. 具备性能分析与问题定位能力，能针对吞吐、延迟、显存瓶颈提出方案。

加分项：

1. 熟悉多种异构芯片的架构特点和优化策略；

2.有推理引擎优化经验，包括并行计算、图优化、内存管理及低比特计算等技术。