锦鲤求职岗位描述
工作职责
1. 负责大模型推理平台的开发、维护与性能优化，保障服务高可用性和高性能运行；
2. 对大模型 KVCache 集群进行开发、维护与性能调优，解决大规模并发推理内存瓶颈；
3. 管理推理服务的计算资源、流量及任务调度，优化集群资源利用率，降低推理成本；
4. 建立推理服务监控告警体系，及时发现和解决性能异常和系统故障；
5. 参与推理服务架构设计，支持多模态模型和不同规模模型的推理需求。
任职要求
1. 本科及以上学历，计算机、软件、人工智能等相关专业；
2. 具备扎实的计算机基础（数据结构、算法、操作系统、计算机网络、并发编程）；
3. 至少熟悉 Go/Python/C++/Rust 中一种，具有良好的工程实现与代码质量意识；
4. 对分布式系统/大规模异构推理有浓厚兴趣，喜欢钻研底层原理与性能瓶颈，有实际追踪相关领域进展。
加分项
1. 参与过大模型推理系统优化工作，对PD分离、KV Cache系统、多机推理等有实践和认知；
2. 有K8S二开经验，熟悉volcano、lws、ray等框架调度逻辑；
3. 熟悉vllm、sglang、dynamo等推理引擎，有参与实际工作；
4. 对RadixAttention、PagedAttention、Continous Batching等技术有实际研究和优化经验。