锦鲤求职岗位描述
岗位职责
- 面向企业级 AI / Agent 应用，开展应用效果评测、问题归因和模型优化相关工作。
- 参与真实业务项目，承担测试集构建、效果评测、Bad Case 分析、问题归因及优化验证等技术任务，完成阶段性交付。
- 根据业务目标设计评价指标、评测任务和测试集，并形成可验证的问题归因结论。
- 针对模型能力不足或特定业务场景需求，开展训练数据构造、进行SFT、RL等模型优化实验，分析不同方法对效果、成本和泛化能力的影响。
- 结合问题类型，综合采用 Prompt、RAG、上下文优化和模型优化等方式进行对比验证，形成可复用的优化方法和技术结论。
- 将有效的测试集、评测方法、训练数据、实验结果和优化方案沉淀为可复用资产。
岗位要求
- 2027届硕士及以上学历，计算机、人工智能、软件工程、数学、统计等相关专业优先。
- 熟悉 Python，具备良好的数据处理、实验设计和分析能力。
- 理解LLM训练基本算法，对SFT、GRPO、PPO 等至少一个方向有较深入的学习或实践。
- 能够围绕实际问题设计对照实验、选择合理指标，并依据数据进行问题归因和效果判断。
- 具备基本的模型训练或调优能力，能够完成数据准备、训练配置、实验记录、结果分析等完整实验过程。
- 能够阅读英文论文、技术文档和开源项目资料，并准确理解方法、实验设置和结论。
加分项
- 有 LLM / Agent Evaluation、SFT、PPO、GRPO的训练数据构造等相关实践。
- 熟悉 RAGAS、Harness Evaluation等评测方法，了解或使用过Llama Factory，Verl，BFCL等模型训练/评测框架。
- 有模型效果优化、算法竞赛、论文、开源项目或真实业务项目经历。