岗位描述
岗位职责
职位描述:
推理平台研发与优化:参与大模型推理平台的后端开发与维护,在导师指导下进行性能调优,协助保障推理服务的高可用性与高性能运行。
核心模块开发与维护:参与大模型 KVCache 集群相关模块的开发与维护,学习并协助解决大规模并发推理场景下的内存瓶颈问题。
资源调度与成本管理:参与推理服务计算资源、流量及任务调度的开发,协助优化集群资源利用率,探索降低推理成本的技术方案。
监控体系建设:协助建立和完善推理服务的监控告警体系,参与日常的性能异常排查与系统故障定位,保障服务稳定运行。
架构设计与多模态支持:参与推理服务的架构设计与讨论,协助支持多模态模型及不同规模模型的推理需求落地。
任职要求
任职要求:
2027届毕业生,统招本科及以上学历,计算机、人工智能、软件工程或相关专业。
具备扎实的计算机基础,熟悉数据结构与算法、计算机网络、操作系统及分布式系统基本原理。
熟练掌握 Go / Python / Rust / C++ 中的至少一门后端编程语言,具备良好的工程规范与模块化设计意识,有高并发编程基础或相关项目经验者优先。
了解云原生相关技术栈,熟悉 Kubernetes、Docker、gRPC、REST 等概念,了解消息队列(如 Kafka/RabbitMQ)或监控体系(如 Prometheus/Grafana),有相关服务部署与运维实践者优先。
对大语言模型(LLM)及其实际应用有浓厚兴趣,了解 LLM 基本原理,并在以下一项或多项有相关学习、研究或项目经验者优先:
Prompt 设计与优化
上下文管理与记忆机制
推理加速相关技术(如 vLLM、TensorRT-LLM、模型量化等)
Function Calling / Tool Use 的工程实现
具备优秀的逻辑分析能力、团队协作精神和独立解决复杂问题的能力,能够快速学习新技术并适应敏捷开发节奏。