锦鲤求职岗位描述
岗位职责
1. 负责 LLM/VLM 大模型的部署和推理优化，包括量化、并行化等典型优化，保障服务高性能、高可用、低成本
2. 支持超大模型的分布式部署与推理服务化，优化 PD 分离、KV Cache 管理、分布式推理等加速方案
3. 参与推理引擎服务化：接入线上服务平台、弹性扩缩容与可观测性适配，提升线上服务稳定性
岗位要求
1. 本科及以上学历，计算机、软件工程、人工智能、电子信息等相关专业；
2. 熟练掌握 Python、C++，具备良好的编码与调试能力，有扎实的数据结构和算法基础
3. 熟悉 Linux 开发环境，熟悉 PyTorch，理解 Transformer/LLM 等大模型的原理与推理流程
4. 熟悉 CUDA 编程与 GPU 性能优化，或有计算密集型系统开发经验
5. 熟悉 vLLM、SGLang、TensorRT-LLM 等主流推理框架
6. 了解 KV Cache 管理（PagedAttention）、Continuous Batching、PD 分离、投机采样、模型量化等大模型推理优化技术