岗位描述
岗位职责:
1、参与大模型平台的架构设计与功能迭代优化。
2、负责大模型评测平台框架的功能迭代及性能优化,与算法及应用团队紧密协作,支撑算法及应用团队的推理评测需求
3、深入研究大模型的推理加速优化技术并工程化落地,提升模型推理性能,降低推理成本。
4、负责模型平台的日常维护与监控,持续优化平台功能和性能。
岗位要求:
1、计算机科学、人工智能、软件工程等相关专业本科及以上学历,具有扎实的计算机基础知识,包括数据结构、算法、操作系统、计算机网络等。
2、精通至少一种主流编程语言,如 Python、go、C++,具备良好的编程能力和代码规范,能够熟练进行复杂系统的开发和调试,精通python语言的优先。
3、熟悉大模型推理评测框架以及推理加速技术,如PyTorch、vLLM、opencompass等,了解其内部原理和优化机制,有实际开发优化与使用经验者优先。
4、具备良好的系统架构设计能力,熟悉分布式系统、微服务架构等技术,能够设计出高效、可靠的平台架构。
5、有高性能计算、并行计算、GPU优化等相关经验者优先,熟悉CUDA并行计算框架者更佳。
6、具备较强的学习能力和问题解决能力以及团队合作精神,能够快速掌握新技术和新知识,善于分析和解决复杂的技术问题。
7、对大模型Infra技术有浓厚的兴趣和热情,愿意在该领域不断探索和创新。