AI大模型技术专家

岗位职责
1. 参与大模型推理引擎的设计和研发，支撑自研以及开源模型的快速部署和高性能推理；
2. 通过各种技术手段持续优化性能，降低推理成本，包括但不限于:算子/编译优化、异构推理、分布式并行等；
3. 支持RL中的多样化采样、generation性能优化等。

岗位要求
1. 硕士及以上学历，计算机科学与技术、电子科学与技术、信息与通信工程、智能科学与技术、软件工程、网络空间安全等相关专业；
2. 有开源大模型推理框架(vllm/sglang/trt-llm)使用和优化经验者优先; 有cuda或triton开发优化gpu算子经验者优先；有昇腾、寒武纪、沐曦、海光、AMD 等算力芯片优化经验者优先；
3. 具备良好的深度学习与计算机体系结构理论基础：深入理解大语言模型（特别是Transformer、MoE等架构）的工作原理，熟悉大规模预训练及推理阶段的显存及算力性能瓶颈；
4. 熟练掌握高性能计算与分布式系统的设计方法：具备万亿级大模型推理的系统级实现能力，深入理解并能落地分布式并行策略（TP/PP/EP）、高效内存与KV Cache管理（如PagedAttention、KV Cache分离架构）以及弹性扩缩容技术；
5. 熟练运用主流深度学习框架与底层开发工具：精通C++与Python；熟练掌握PyTorch；深入掌握CUDA、Triton等GPU编程技术；具备运用Roofline等性能分析模型进行系统瓶颈定位及Tiling等极致调优策略落地的能力；
6. 具备开源推理框架的代码级驾驭能力：熟练掌握vLLM、sglang、TensorRT-LLM等主流开源推理引擎的底层实现机制，并具备对源码进行二次开发和性能深度定制的能力；
7. 具备优秀的系统性问题分析和解决能力，良好的团队协作与沟通能力，能够承担有挑战性的研发任务，并具备较强的学习能力和创新思维。