智算后端研发工程师

职位描述

1、开发云原生场景下异构算力调度框架。

2、优化大模型推理能力，快速的部署推理服务，提升推理速度和吞吐。

职位要求

1、熟练掌握Linux/Unix平台上的编程，熟练使用Golang/Python语言进行开发，熟练使用数据结构和常用算法。

2、具有深度学习推理加速和优化的经验，熟悉至少一种推理引擎，如 vLLM、SGLang、Llama.cpp

3、熟悉常见的模型量化技术，并能够进行模型的量化优化。

4、熟悉常见的机器学习算法及框架，如 神经网络、transformer架构、PyTorch框架。

5、熟练掌握 Kubernetes 和 docker 技术。

6、具备良好的沟通和团队合作能力，能够与跨功能团队密切合作，解决问题并实现共同目标。