锦鲤求职岗位描述
岗位概述
负责大语言模型基于芯片平台在生产环境中的部署、性能优化与基础设施建设。围绕时延、吞吐、内存占用、分布式并行、稳定性和成本，设计并落地可扩展的推理方案。
岗位职责
负责 LLM 推理服务的架构设计、部署与持续优化，支持 TP、PP、DP、EP 等方案，并优化计算、内存与通信效率
建立性能分析与调优体系，围绕首 Token 时延、单 Token 时延、吞吐、并发、内存占用和单位推理成本开展基准测试与瓶颈定位
建设部署、调度及全链路性能诊断工具，推进 PD 分离、推测解码、KV Cache 优化、低比特量化等技术落地
与算法业务团队协作，完成模型适配、精度与调度性能验证，部署方案选型及问题闭环，推动通用能力沉淀为平台和工具
任职资格
计算机、电子、自动化或相关专业本科及以上学历，3–7 年基础设施、分布式系统或 AI 系统相关经验
熟悉至少一种主流 LLM 推理框架或服务方案，如 vLLM、SGLang、TensorRT-LLM 或同类系统，并具有实际部署和调优经验
理解 MoE 模型推理过程，熟悉 Attention、KV Cache、Batching、量化等关键机制，能够分析模型、框架与硬件之间的性能瓶颈
熟悉分布式并行与多级缓存系统原理，熟悉 TP、PP、DP、EP 中的至少两类，了解 NCCL 及常见 GPU 互联与网络拓扑
具备性能意识和数据化调优习惯，能够通过 Profiling 工具、基准测试与 A/B 对比验证优化效果，并沉淀可复用的方法和工具
加分项
有大规模 GPU 集群或高并发在线推理服务经验，熟悉多模型并发调度和多级缓存系统优化
熟悉 CUDA 编程、Triton 或自定义算子开发，具备 Kernel 级性能优化经验
有 FP8、INT8、INT4 等量化方案落地经验，能够系统评估精度、性能与成本的权衡
有国产 GPU 或其他 AI 加速器适配经验，或参与过推理框架、算子库、通信库等开源项目