岗位描述
负责大模型指令遵从能力相关的数据建设、评测体系设计与训练反馈分析工作。你将参与模型如何理解用户需求、遵守复杂约束并准确完成任务的能力建设,研究哪些数据和训练方法能够持续提升模型的指令理解与执行能力。
岗位职责
构建和整理指令遵从相关训练数据,包括格式遵从、长度遵从、信息抽取、内容总结、多条件约束以及复杂用户需求理解等任务。
分析训练数据质量,评估数据是否准确体现用户意图并能够有效提升模型能力。
发现并识别低质量、低价值或存在潜在问题的数据样本,持续优化数据结构与分布。
设计和维护指令遵从能力评测集,建立系统化评测标准。
分析模型在指令理解和任务执行过程中的典型错误与失败模式。
研究不同数据构成、训练策略和训练阶段对模型能力的影响。
跟踪模型能力变化趋势,并根据评测结果推动数据和训练方案迭代。
任职要求
计算机、人工智能、语言学、认知科学或相关专业背景。
具备良好的语言理解与分析能力。
细致认真,对数据质量具有较强敏感度。
具备基础编程能力,能够完成简单的数据处理与分析工作。
对大模型行为分析、数据建设或模型能力研究具有浓厚兴趣。