岗位描述
岗位职责
1多模态技术战略与路线规划
- 结合行业前沿与实验室战略,参与制定多模态大模型中长期技术规划,涵盖通用图文大模型、视频多模态、多模态理解生成、跨模态对齐等方向;
- 跟踪国内外SOTA多模态技术迭代,研判多模态大模型技术趋势,定义团队科研课题,攻克复杂图文推理、细粒度视觉理解、长视频理解、多模态幻觉抑制等技术瓶颈;
- 协助进行多模态模型全系迭代升级,搭建专业多模态评测子集,完善多模态评测体系,构建行业领先的通用多模态技术底座。
2 团队管理与多模态人才建设
- 负责多模态专项团队搭建、组织架构优化、人员分工,制定科研考核与激励机制,打造高效自研研发团队;
- 引进视觉、多模态、AIGC、视频理解领域顶尖科研人才,培养青年算法骨干,搭建学术+工程复合型研发团队;
- 把控团队研发节奏,组织技术评审、算法复盘,解决多模态训练、对齐、推理过程中的核心技术难题。
3 重大科研项目与技术攻关
- 牵头申报并执行国家级、省部级多模态人工智能重大专项,负责项目方案撰写、经费管控、进度管理、验收交付;
- 主导通用多模态基座模型预训练、跨模态对齐、指令微调、图文联合优化全流程研发,统筹多模态高质量数据集构建、大规模算力调度、分布式训练优化;
- 推进行业多模态落地应用,涵盖工业视觉、科学计算多模态、图文生成、智能感知等方向,打通科研成果产业转化链路。
4 开源生态与对外产学研合作
- 对接高校、科研院所、头部企业,开展多模态产学研合作,拓展数据集、算力、行业落地资源;
- 负责多模态技术成果对外输出、行业峰会技术分享,维护实验室多模态领域行业影响力;
- 完善开源体系,运营多模态开源社区,迭代开源模型与工具链,扩大行业开源影响力。
5 资源管控与技术资产沉淀
- 统筹多模态算力、高质量图文视频数据、科研经费分配,优化GPU集群训练调度,控制研发成本;
- 规范多模态数据合规、图像版权、算法安全、知识产权管理,搭建多模态科研风控体系;
- 发表顶会论文、编制多模态技术白皮书、沉淀模型专利,固化实验室多模态核心技术资产。
岗位要求
1 学历与基础资质
- 计算机、人工智能、视觉算法、深度学习、数学等相关专业,博士优先,顶尖名校硕士可放宽;
- 抗压能力强,认同科研机构长期研发理念,热爱多模态技术研究。
2 工作经验要求
- 具备上多模态/计算机视觉/AIGC研发经验,2年以上技术团队管理经验,具备专项团队统筹能力;
- 有头部科研机构、大厂研究院多模态研发经验,主导过开源通用多模态模型、图文大模型、视频大模型完整迭代流程;
- 有书生万象、CLIP、Flux、VLM等主流多模态模型研发、二次优化、落地经验者优先。
3 专业技术能力
- 精通Transformer、ViT、多模态融合架构,熟练掌握图文对齐、视觉编码、文本解码、多模态SFT/DPO对齐技术;
- 精通大规模图文、视频数据集清洗、过滤、提纯,熟悉多模态数据构建方法论,掌握分布式多模态训练、显存优化、并行训练技术;
- 熟悉图像生成、视频理解、多模态推理、幻觉抑制优化,对通用多模态发展方向有深度判断;
- 具备多模态评测体系搭建经验,熟悉多模态感知、生成、推理类评测指标与优化方案。
4 综合能力素质
- 具备多模态技术顶层设计能力,能够精准判断行业技术风口,制定长期研发路线;
- 具备团队搭建、人才培养、跨部门协同能力,逻辑清晰、决策果断,科研项目管控能力强;
- 具备优秀技术汇报,可独立对接政府及行业合作机构;
- 在CVPR、ICCV、ECCV、NeurIPS等顶会发表多模态/视觉方向论文、持有核心专利者优先;
- 恪守科研伦理,无学术不良记录,责任心强,高度认同上海人工智能实验室科研发展理念。、
5. 优先录用条件
- 主导过十亿参数及以上通用多模态基座模型完整训练、对齐、开源落地全流程;
- 主持过国家级多模态、人工智能重大科研专项,熟悉政府项目申报、评审、验收流程;
- 在视频理解、图文生成、多模态推理、具身智能任一方向有行业公认突出成果;
- 海内外顶尖高校、科研院所视觉/多模态资深研究员,行业具备较高学术影响力。