岗位描述
工作职责
岗位介绍
我们正在建设面向大模型的弹性算力与推理基础设施,通过资源池化、动态调度和推理系统优化,将分散、动态可用的 GPU 资源转化为高性价比的模型推理能力,提高集群资源利用率,降低推理服务成本。该系统有望在中国电信体系内的多个万卡级算力集群推广应用。
你将参与这一系统从设计、原型验证到生产落地的完整过程,解决算力资源动态变化条件下的资源管理、服务伸缩、运行稳定性与推理效率问题。我们期待你在集群系统或模型推理方向具有扎实积累,并具备跨方向学习与独立解决问题的能力。
核心职责
1.参与弹性 GPU 资源池建设,研发资源状态感知、动态分配与回收、多租户调度等能力,提高集群资源利用率。
2.建设适应动态算力供给的大规模分布式推理服务,完善模型部署、资源编排、弹性伸缩与运行恢复能力,在资源变化时保障服务质量。
3.结合模型特征、硬件资源和网络条件,优化并行策略、请求调度、计算与通信协同及缓存管理,并降低模型加载与资源切换开销,提高有效吞吐与单位算力产出。
4.完善集群与推理服务的可观测性、故障诊断和自动化运维能力,提升系统可靠性,减少人工干预。
5.跟踪弹性计算、Serverless 和模型推理领域的研究与开源技术,通过实验评估和工程实现,推动技术方案落地。
工作要求
任职要求
1.计算机、软件工程、电子信息或相关专业,硕士及以上学历;具备扎实的计算机系统基础,理解操作系统、计算机网络与分布式系统的基本原理。
2.熟练掌握 Python、Go、C++、Rust 中至少一种编程语言,具备良好的软件工程能力,能够独立完成模块设计、开发、调试与验证。
3.在以下至少一个方向具有深入的项目实践,并愿意向相关方向拓展:
●集群与资源管理:熟悉 Linux、容器与 Kubernetes,具有资源调度、集群管理、平台控制面或自动化运维系统的研发经验。
●模型推理系统:理解大模型推理流程及主要性能瓶颈,了解常见分布式推理并行策略及其适用条件,具有推理引擎、模型服务平台或分布式推理系统的开发与优化经验。
4.理解模型推理服务的性能调优原理,能够结合Nsight System等性能分析工具定位问题,并通过实验验证优化效果。
5.具备较强的动手能力、自主学习能力和工作主动性,能够通过阅读源码、技术文档与论文快速理解陌生系统,将不明确的问题拆解为可实施、可验证的方案。
6.具备严谨的研究与实验习惯,能够设计对照实验、分析结果并说明方案局限;具有良好的沟通协作能力,能够推动技术方案从原型验证走向实际应用。
加分项
●弹性计算与资源调度:具有 GPU 资源池化虚拟化、超分超卖、抢占式调度等技术研发经验;参与过 Kubernetes 调度器、Controller/Operator 等组件开发。
●Serverless 与动态推理:具有自动扩缩容、冷启动优化、模型快速加载、状态迁移或中断恢复等实践,探索过在动态或可回收资源上运行模型服务。
●可靠性与智能运维:具有 GPU 集群可观测性、故障根因分析、自动恢复或 AIOps 系统的研发与落地经验。
●科研与开源:在计算机系统、分布式计算或机器学习系统方向接受过系统科研训练,具有高质量研究成果、开源贡献,或独立承担复杂系统项目的经历。
专业要求
计算机、软件工程、电子信息或相关专业