GPGPU 推理芯片性能优化工程师

岗位职责

1.负责面向 GPGPU 推理芯片的大模型及深度学习算子性能分析与优化，提升芯片计算效率、访存效率和端到端推理性能。

2.负责 CUDA 算子的开发与深度优化，包括矩阵乘、卷积、Attention、归一化、激活函数、量化与反量化、通信等核心算子。

3.针对 GPU/GPGPU 微架构进行性能调优，包括线程组织、访存合并、共享内存使用、寄存器分配、计算与访存流水并行等。

4.负责大模型推理关键模块优化，包括 GEMM、FlashAttention、KV Cache、MoE、RoPE、RMSNorm、Sampling 等。

5.使用 Nsight Systems、Nsight Compute 等工具分析算子和模型性能瓶颈，建立 Roofline、带宽、算力及访存开销等性能模型。

6.负责算子融合、内核调度、数据布局、并行策略和流水线设计，降低 Kernel Launch、数据搬运及同步开销。

7.参与 FP16、BF16、FP8、INT8、INT4 等低精度推理方案的开发、精度验证与性能优化。

8.参与推理框架与芯片软件栈适配，包括 PyTorch、Triton、TensorRT-LLM、vLLM 等。

9.对标主流 GPU 平台，完成单算子和整网性能测试、瓶颈分析及优化方案落地。

10.与芯片架构、编译器、运行时和模型团队协作，提出软硬件协同优化建议，并推动芯片性能问题闭环。

任职要求

1.计算机、电子工程、微电子、自动化、数学等相关专业，本科及以上学历。

2.熟悉 CUDA 编程模型，具有 CUDA Kernel 开发和性能优化经验。

4.熟悉 GPU/GPGPU 架构，理解 Warp/Wavefront、SIMT、Occupancy、共享内存、寄存器、Cache 和全局内存等机制。

5.熟悉 CUDA 算子常见优化方法，包括：

a.全局内存合并访问与数据对齐；

b.Shared Memory 分块及 Bank Conflict 优化；

c.寄存器复用与寄存器压力控制；

d.向量化访存、异步拷贝和双缓冲；

e.Warp-level Primitive、Tensor Core 和 MMA 指令；

f.Kernel Fusion、流水并行及计算访存重叠；

g.Block、Warp、Thread 级任务划分与负载均衡。

6.熟悉至少一种高性能算子开发技术或库，如 CUTLASS、Triton、cuBLAS、cuDNN、FlashAttention。

7.熟悉 C/C++，具备良好的 Python 编程能力，能够阅读和分析汇编、中间表示或编译器生成代码。

8.熟悉深度学习基础算子和 Transformer、大语言模型推理流程，理解 Prefill、Decode、KV Cache、Continuous Batching 等关键机制。

9.能够使用性能分析工具定位计算、访存、同步、调度和通信瓶颈。

10.具备良好的问题分析、技术沟通和跨团队协作能力。

加分项

1.具有 GPU、NPU、AI 加速器或自研 GPGPU 芯片软件栈开发经验。

2.具有大模型推理引擎优化经验，熟悉 vLLM、TensorRT-LLM、SGLang、DeepSpeed 或 FasterTransformer。

3.具有 FlashAttention、PagedAttention、MoE、量化 GEMM 或稀疏计算优化经验。

4.熟悉 PTX、SASS、LLVM、MLIR，或具有编译器后端与指令级优化经验。

5.熟悉多卡并行和通信优化，包括 Tensor Parallel、Pipeline Parallel、Expert Parallel、NCCL 及通信计算重叠。

6.具有性能模型构建、芯片仿真器使用或软硬件协同设计经验。

7.有高性能计算、CUDA 算子或推理优化相关开源项目贡献者优先。

岗位产出

1.核心算子性能达到既定算力或带宽利用率目标；

2.提升典型模型在 Prefill、Decode 场景下的吞吐与时延表现；

3.建立完善的算子性能、精度和回归测试体系；

4.输出芯片性能瓶颈分析报告及软硬件协同优化建议。