岗位描述
岗位职责
1.基于自研芯片开发高性能推理框架;
2.适配并深度优化主流分布式框架,如SGLang 等;
3.开发与优化混合并行及内核级策略;
4. 模型与核心能力支持:适配 LLaMA、Qwen、MoE 等主流大模型,支持 Prefill/Decode、Continuous Batching、KV Cache 等核心推理能力;
5.调研前沿技术,实现超大规模分布式,如vLLM、TensorRT-LLM 等主流框架动态;
6.协同上下游解决分布式性能与精度问题;
岗位要求
1.计算机等相关专业本科及以上,精通Python/C++;
2.具备分布式系统、HPC或深度学习框架项目经验;
3.深入理解大模型分布式并行策略及主流模型架构,熟悉 PyTorch 及 Transformer 推理原理;
4.熟悉集合通信原语,有CUDA/异构计算编程经验者优先;
5.有大规模分布式系统或机器学习平台开发经验者优先;
6.熟练使用Profiler等工具进行系统级瓶颈定位者优先;有源码阅读或适配经验优先;