【MLP】TPU大模型推理研发工程师

基于 Google TPU 建设 MaaS 推理服务，持续优化主力模型的性能、稳定性和服务成本。

参与推理引擎与模型执行路径研发，完成模型接入、性能优化及生产交付，并与平台和 SRE 团队共同解决真实业务中的工程问题。

职位描述

基于 vLLM TPU、SGLang-JAX 等推理框架，完成目标模型的接入、权重转换、配置适配及正确性验证，支持模型和框架版本迭代。

优化请求调度、Continuous Batching、KV-Cache、Prefix Caching 和 Chunked Prefill 等执行机制，提高满足延迟要求的有效吞吐。

分析模型在 TPU 上的编译与运行表现，优化 Shape、Padding、编译缓存、预热、内存分配及算子执行，定位 OOM、重复编译和性能回退等问题。

根据模型规模与业务需求，开发和优化多设备、多主机推理能力，包括模型分片、并行策略、通信及执行同步。

建设自动化评测与回归工具，覆盖模型质量、功能兼容性、性能和稳定性，支持真实请求分布下的压测及版本对比。

参与线上问题排查，与平台团队共同完善模型启动、健康检查、请求取消、异常处理及发布回滚；维护必要补丁并推动上游合并。

职位要求

具备大模型推理引擎开发、模型适配或性能优化经验，熟悉 vLLM、SGLang、TensorRT-LLM 或同类系统中的至少一种，并有核心模块研发或调优实践。

理解 Transformer、Attention、KV-Cache、Prefill/Decode 等基本机制，能够分析请求长度、Batch Size、并发和内存使用对吞吐与延迟的影响。

熟悉 JAX 或 PyTorch，理解张量计算、数值精度和分布式执行；能够深入框架代码定位兼容性或性能问题。

能够设计可复现的性能实验，使用 Profiler 和日志验证优化效果，并同时检查模型质量与服务稳定性。

具备良好的协作和学习能力，能清晰描述问题、实验条件和解决方案。

加分项

有 Google TPU、JAX/XLA、vLLM TPU、SGLang-JAX 或 Torchax 实践。

有 Pallas、Triton、CUDA 或其他加速器 Kernel 开发经验。

有 TP、EP、DP 等并行策略或 MoE 分布式推理经验。

有量化、长上下文、多模态、投机解码或 LoRA Serving 经验。

有 Kubernetes/GKE 上的模型服务部署、线上故障排查或开源社区贡献经验。