岗位描述
岗位职责
1.参与大模型推理框架(如PyTorch、vLLM、SGLang等)的适配与开发;
2.优化大模型推理性能,包括模型量化、调度优化、模型并行策略等;
3.设计并实现高效的推理服务部署方案,支持异构硬件部署;
4.与算法团队、平台团队紧密协作,提升模型推理效率与系统稳定性;
5.编写高质量技术文档,参与技术分享与代码评审。
任职要求
1. 本科及以上学历,计算机、软件工程、人工智能、电子工程等相关专业;硕士/博士优先,有相关论文或项目经验者优先。
2.熟悉C++/Python编程,具备良好的编码习惯与工程能力;
3.熟悉Linux开发环境,有Git、CMake、Docker等工具使用经验。
4.熟悉深度学习框架(PyTorch/TensorFlow等)及大模型结构(Transformer等);
5.熟悉GPU/CUDA编程、高性能计算或模型优化者优先;
6.了解推理框架(如vLLM、SGLang、DeepSpeed等)者优先;