AI agent测评师-云梦运营中台

岗位职责
1、评测体系设计与落地参与：AI Agent 分层评测框架设计，覆盖指令理解、规划合理性、工具调用、结果准确性、语义一致性、输出质量等维度；开发自动化评测脚本与工具链，沉淀可复用评测框架与高质量基线数据集，为产品迭代提供可量化的效果依据。
2、Benchmark 与用例库建设：构建多场景 Benchmark 任务集，包含基础交互、多步复杂任务、模糊指令处理、异常鲁棒性等类别；建立人工评审机制，探索并落地 LLM-as-Judge 自动化评测方案，完成评测 Prompt 与 Few-shot 样本设计迭代。
3、实验与归因分析：基于 Agent 执行日志与链路数据开展行为分析，定位问题根因与系统瓶颈；通过 A/B 测试、对照实验，评估模型、Prompt、工具链等方案效果，输出版本对比报告与归因分析结论。
4、跨团队协同与结果驱动：联动算法、产品、研发团队，将评测结论转化为可落地的优化建议，持续驱动产品迭代与体验提升。

岗位要求
1、计算机、人工智能、机器学习、统计学等相关专业，1–3 年 AI / 算法测试、大模型评测或数据分析相关经验。
2、熟练使用 Python，具备评测脚本开发、数据处理能力，拥有规范的编码习惯与工程素养。
3、理解 LLM、AI Agent 基本工作机制，知晓 LLM-as-Judge 的能力边界与适用局限。
4、具备量化分析思维，擅长用统计方法客观评估效果；能从复杂系统中定位问题，并输出改进方案。