锦鲤求职岗位描述
岗位职责
1、负责多模态大模型基础能力建设，涵盖图像、视频、文本、语音、文档、工程图纸等多模态数据的建模与融合；
2、负责多模态大模型选型、微调、评测与优化，包括视觉语言模型、视频理解、语音语言模型、文档理解及多模态 Agent 等方向；
3、负责图文理解、OCR、版面分析、表格/图表理解、缺陷识别、场景识别、视觉问答等基础能力建设；
4、负责多模态信息融合与跨模态推理，结合知识库、工具调用和业务规则实现复杂任务理解与决策支持；
5、负责多模态模型评测体系建设，围绕识别准确性、跨模态对齐、推理能力、幻觉风险、鲁棒性等维度持续评估；
6、负责模型训练、微调、蒸馏、量化、部署及推理优化，支持云端、边缘端、车端等运行环境；
7、沉淀多模态数据集、评测集、标注规范与最佳实践，形成可复用的模型资产。
岗位要求
1、硕士研究生及以上学历，计算机、人工智能、软件工程、电子信息、自动化、数学等相关专业；
2、熟悉大语言模型、多模态大模型、计算机视觉、语音理解、跨模态学习等方向，了解主流模型（CLIP、LLaVA、Qwen-VL、Gemini 等）；
3、熟悉图像分类、目标检测、OCR、版面分析、视频理解、跨模态检索等任务；
4、掌握大模型微调技术（LoRA、SFT、DPO、蒸馏、量化、RAG、Agent 等）；
5、熟练使用 Python，具备 PyTorch、Transformers、OpenCV 等工具使用经验；
6、具备算法实现与工程开发能力，能独立完成数据处理、模型训练、推理部署与效果优化；
7、熟悉多模态评测方法，理解准确率、召回率、幻觉率、图文一致性等核心指标。