锦鲤求职岗位描述
岗位职责：
1.大模型推理框架开发：设计和优化大模型推理框架，提升推理效率和稳定性；
2.模型优化：利用图优化、算子优化、量化（INT8/FP16/混合精度）、稀疏化、剪枝等技术，优化推理性能；
3.分布式推理：设计并实现多机多卡推理方案，提高大模型的可扩展性；
4.KV Cache与动态Batching优化：优化LLM的推理缓存管理，提高吞吐量和实时性；
5.硬件加速：基于GPU（CUDA/TensorRT）、CPU（OpenVINO/ONNX Runtime）、NPU（Ascend、Habana等）优化推理性能。
任职资格：
1.全日制硕士及以上学历，人工智能、计算机等相关专业；
2.熟悉PyTorch、TensorFlow、JAX、ONNX等深度学习框架；
3.熟悉vLLM、Ollama、SGLang、LMDeploy、Llama.cpp、TensorRT-LLM、Hugging Face TGI、MLC-LLM等大模型推理框架，熟悉低精度计算（FP16/INT8/混合精度）；
4.具备大模型的Profiling和优化能力；具备分布式推理架构（DeepSpeed/FasterTransformer/Megatron-LM等）经验者优先；
5.具备LLM推理优化（如LoRA、MoE、KV Cache等）经验者优先；
6.熟悉硬件架构（GPU/TPU/NPU），具备跨硬件平台优化能力者优先
7.有竞赛经验者优先；