岗位描述
岗位职责:
1. 负责语言、图片、视频等生成模型推理系统建设与性能优化,支撑在线服务与离线推理场景。
2. 设计高性能推理架构,实现动态批处理、KV Cache管理、并行推理、弹性扩缩容等优化手段
3. 推进量化、压缩与推理加速技术落地,在保证模型效果的前提下提升吞吐并降低推理成本。
4. 跟踪业界最新推理技术,推动新方案在业务场景中的落地与应用。
任职要求:
1. 本科及以上学历,计算机、人工智能相关专业。
2. 精通 Python 或 C++,熟悉 CUDA 编程与 GPU 性能分析工具。
3. 熟悉模型量化、KV Cache优化、动态批处理等常见推理优化技术 。
4. 熟悉容器化与微服务架构,具备推理服务开发和运维经验。
5. 具备较强工程能力和问题解决能力,能够独立负责系统设计与性能优化工作。