AI Infra 大模型推理服务工程师（集群部署方向）

BASE：北京、合肥，薪资面议。

职位定位：聚焦大模型推理服务的集群化部署与工程化落地，负责从单卡到推理集群的全栈推理服务架构。

岗位职责：

1. 集群推理服务架构设计：设计并落地支持高并发、低延迟的大模型集群推理服务架构，包括负载均衡、弹性扩缩容、故障自动切换等。

2. 分布式推理部署：负责大模型在多机多卡集群上的分布式推理部署，涵盖多种并行策略的优化。

3. 服务化工程优化：构建生产级推理服务链路，包括推理任务的智能调度、Batching策略、KV Cache集群化管理、PD分离等。

4. 可观测性体系建设：搭建推理服务的全链路监控、告警和日志系统，实现性能瓶颈的定位与优化。

任职要求：

1. 硕士及以上学历，计算机、人工智能等相关专业，2年以上分布式系统或高并发服务开发经验。

2. 精通推理服务框架：深入理解vLLM、SGLang等框架的调度机制和部署模式，有生产环境大规模部署经验。

3. 分布式系统能力：熟悉分布式系统的核心概念，熟悉Mooncake等分布式KV Cache系统。

4. 主导或者深度参与过头部大模型的集群级别部署、监控、优化等工作。