AI Infra 研发工程师

岗位职责：

1、负责大模型推理引擎与服务系统核心研发，以提升tokens/s吞吐、并发能力、资源利用率和稳定性为主要目标；

2、深入优化Prefill/Decode、Continuous Batching、Paged KV Cache、Attention、推测解码、量化、调度与并行策略；

3、优化Triton/CUDA高性能算子，推进vLLM/SGLang等引擎的多芯片适配、性能Benchmark、自动化回归与版本发布。

任职要求：

1、硕士及以上学历，计算机、人工智能或相关专业；

2、熟练掌握Python和C/C++，熟悉Linux系统开发；具备CUDA或Triton Kernel开发与性能优化能力；

3、熟悉PyTorch及至少一种大模型推理引擎，如vLLM、SGLang或TensorRT-LLM，理解其调度、缓存和执行机制；

4、理解大模型推理链路及性能指标，能够围绕tokens/s、TTFT、TPOT、并发度、显存占用和扩展效率开展系统优化；

5、至少在一项底层方向有深入实践：CUDA、Triton、Ascend C等GPU/NPU编程与算子优化；AI编译器、代码生成与运行时；集合通信、分布式训练/推理或异构芯片适配；

6、能使用Nsight Systems/Compute、PyTorch Profiler、日志和Tracing定位瓶颈，具备Benchmark、自动化测试、Git协作和技术文档能力。

加分技能

1、参与过Triton、vLLM、SGLang、FlagOS或PyTorch等开源项目；

2、具备国产AI芯片或NVIDIA GPU的推理适配、算子开发与性能调优经验；

3、有大规模在线推理、分布式推理、MoE、长上下文、量化或推测解码等生产实践；

4、有可量化的推理优化成果，能清晰说明tokens/s、TTFT、TPOT、显存或成本效率的提升幅度。