岗位描述
岗位职责
1. 大模型推理部署与性能优化:
- 负责 LLM / 多模态大模型的工程化落地:模型转换、量化、算子优化、推理引擎选型(vLLM、TensorRT-LLM、TGI、DeepSpeed 等)。
- 优化推理吞吐、首包延迟、显存占用,解决 GPU 资源瓶颈,做批处理、连续批、KV Cache 优化;压测、定位性能瓶颈。
- 搭建模型推理服务,封装 API,实现负载均衡、限流、熔断、多实例调度。
2. 模型微调工程 & 训练侧工程支持:
- 搭建微调训练框架(LoRA、全参数微调、DPO 等),分布式训练环境搭建、多卡通信、训练稳定性保障。
- 训练数据处理流水线开发:数据清洗、格式转换、数据加载器,监控训练 loss、显存、报错,排查训练挂起、OOM 等问题。
- 训练 / 微调任务自动化、任务调度、模型版本管理(Model Registry)。
3. 模型服务化与平台建设:
- 构建大模型服务链路:模型网关、路由、A/B 测试、灰度发布、请求日志、调用指标监控。
- 开发模型管理工具:模型上传、版本切换、配置管理、自动部署、回滚机制。
- 和后端、业务、产品协作,对接业务方,把大模型能力封装成业务可用接口。
4. 问题排查、稳定性与运维
- 线上问题应急:推理报错、显存泄漏、响应超时、服务雪崩,定位底层问题。
- 建立监控告警体系:GPU 利用率、显存、QPS、token 耗时、错误率。
- 资源成本优化:GPU 资源调度、弹性扩缩容,降低单 token 推理成本。
5. 技术调研与预研
- 跟进大模型推理、分布式训练新技术,评估新框架、新量化方案、实操大规模模型训练,落地真实医疗场景。
岗位要求
【必备条件】
1.学历要求:2027届本科或硕士毕业生(有扎实的研究/项目经历);
2.专业要求:计算机科学、人工智能、数学、生物医学工程等相关专业;
3.理论基础:扎实的深度学习基础(理解CNN、RNN、Transformer等架构),熟悉大模型原理,了解预训练、微调、指令微调等概念,扎实的数学基础(线性代数、概率论、最优化方法等);
4.编程和工具:熟练掌握Python编程,熟练使用PyTorch或TensorFlow,了解Linux环境和Shell脚本;
5.学习能力:能够阅读和理解英文学术论文,有独立思考和问题分析能力。
【优先(加分)条件】
1.具备大模型相关研究经验(涵盖预训练、微调、对齐等方向);
2.在ACL、EMNLP、NeurIPS、ICML等学术会议上发表过论文;
3.熟悉GPT、LLaMA、ChatGLM等主流模型架构;
4.具备模型训练经验(曾训练BERT、GPT等模型);
5.掌握分布式训练相关技术(如DDP、FSDP、DeepSpeed等);
6.在Kaggle竞赛中曾进入前10%;
7.基于大模型构建过训练/推理工作流或评测体系,有可展示的作品。
【AI工具应用能力要求】
有大模型实际应用经验,能使用AI工具(代码生成、实验管理、论文辅助阅读等)加速模型开发与实验迭代,有AI辅助科研或项目的实操经历并能说明验证过程。