岗位描述
岗位职责
1.负责大模型及Agent能力的评测工作,覆盖理解、推理、生成、工具调用、任务规划等核心维度
2.设计并执行评测方案,构建维护评测数据集,制定模型发布的准入准出标准
3.开展对抗性测试与鲁棒性验证,定位模型及Agent的缺陷根因
4.开发自动化评测Pipeline与LLM-as-Judge辅助工具,提升评测效率
5.输出评测报告,推动算法团队优化迭代
岗位要求
1.本科及以上学历,2年以上测试经验,其中至少1年AI/NLP领域测试经验
2.熟悉软件测试方法论,具备测试方案设计与缺陷管理能力
3.理解大模型基本原理(Transformer架构及训练推理流程)及Agent常见技术方案(agent loop,ReAct,plan等)
4.熟练使用Python,了解OpenCompass等主流评测框架
5.对质量敏感,逻辑清晰,沟通顺畅,能持续跟进前沿技术
加分项: 有大模型/Agent评测体系建设经验,熟悉评测数据集构建,了解模型安全对齐评测。