TPU大模型推理负责人

团队与业务

面向 MaaS 业务，基于 Google TPU 构建大模型推理服务，为客户提供稳定、高性能的模型 API。团队重点关注模型适配、推理引擎优化、分布式推理及生产环境的成本效率，并与现有 NVIDIA GPU 推理平台协同发展。

负责 TPU 推理方向的技术规划与关键问题攻关，带领工程师完成从模型验证、性能优化到生产交付的全过程。

职位描述

负责 TPU 推理技术方案与演进路线，评估推理框架、模型支持范围、并行策略和资源配置，推动主力模型在 TPU 上落地。

建立面向真实业务的性能评估体系，围绕模型质量、TTFT、TPOT、尾延迟、有效吞吐及单位 Token 成本制定优化目标。

深入分析 TPU 推理执行过程，定位编译、算子、HBM、KV-Cache、请求调度及跨设备通信瓶颈，推动框架与关键执行路径优化。

负责大模型及的分布式推理方案，优化模型分片、并行策略、通信与计算重叠，以及模型副本的部署规模。

与平台和 SRE 团队协作，完善模型加载、编译预热、发布回滚、故障恢复及性能回归机制，保障生产服务稳定性。

建立团队的技术规范和知识体系，指导工程师成长；与 Google 技术团队及开源社区协作，推动问题修复和优化成果进入上游。

职位要求

具备大模型推理系统研发与性能优化经验，曾独立负责关键模块或技术方向，能够推动复杂问题从定位到生产验证闭环。

具备 TPU 环境下模型部署和性能优化的实际经验，熟悉 JAX/XLA 的编译与执行机制、张量分片、设备通信及常见性能问题。

深入理解 Transformer、Attention、KV-Cache、Prefill/Decode 和 MoE 等机制，理解批处理、并发、显存占用与服务延迟之间的关系。

熟悉至少一种主流推理引擎（vLLM、SGLang）或 TPU 推理实现，具备阅读、调试和修改核心代码的能力。

具备扎实的性能分析能力，能够结合 Profiler、运行日志和可复现实验，区分计算、内存、通信、编译及调度瓶颈。

具备良好的工程判断和协作能力，能够在性能收益、模型质量、交付时间及维护成本之间作出取舍，并指导团队实施。

加分项

有 vLLM TPU、SGLang-JAX、JAX 或相关项目的开源贡献。

有 Pallas、自定义算子、Attention/MoE Kernel 或编译优化经验。

有大规模在线推理、跨主机模型并行、量化、投机解码或 Prefill/Decode 分离的实践。

有 GPU 与 TPU 迁移、性能对比及生产成本优化经验。