AI测评研究员

【岗位职责】
1.研究大模型、AI Agent与AI应用的能力测评方法，建立覆盖通用能力、行业能力、任务完成效果与安全可靠性的评价指标体系；
2.研究评测数据集与测试用例构建方法，开展样本设计、标注校验与版本管理，形成可复用的评测基准和测试规范；
3.研究模型幻觉、事实一致性、鲁棒性、偏见及安全对齐等测试方法，开展Agent任务规划、工具调用、多步执行与安全边界测试；
4.研究自动化测评技术与工具平台，开展AI产品及配套软硬件的功能、性能、兼容性和国产化适配测试，提升评测效率与结果可信度；
5.开展模型、Agent与AI产品的对比测试、准入评估与应用验证，分析问题与能力边界，输出测评报告、选型建议及改进意见；
6.跟踪国内外测评测试技术与标准，参与AI技术准入规范、能力评测标准及测试方法研制，产出研究报告、学术论文与发明专利。
【任职资格】
1.硕士研究生及以上学历，人工智能、计算机、软件工程、数学、统计学等相关专业，博士研究生优先；
2.具备扎实的机器学习与数据分析基础，熟悉大模型训练、推理及Agent运行的基本原理，理解AI应用的能力与安全风险；
3.熟练掌握Python，具备测试脚本、自动化工具与数据处理能力，掌握实验设计、统计分析及结果复核方法；
4.熟悉主流模型评测基准及通用能力、行业任务和安全测评方法，具备评测数据集、测试用例与评价指标设计能力；
5.了解计算机软硬件基础与常用测试工具，有AI测评平台、软件测试、性能压测、国产化适配或产品选型验证经历者优先；
6.拥有标准研制、评测规范或测评开源项目经历者优先；
7.具备良好的研究报告撰写与沟通协作能力，工作严谨细致。