大模型基准测试技术研究员

工作职责
跟踪大模型、智能体等在软件工程相关人工基准前沿进展，持续迭代评测方法和基准体系。

1.开展大模型赋能代码编写和软件研发相关理论和技术研究；

2.开展大模型代码能力与软件研发能力评测体系设计，覆盖代码生成、代码补全、缺陷修复、测试生成、仓库级/工程级任务、Agent 工具调用等各类场景。

3.开展评测数据集构建，以及基准测试方案与评价指标设计，定义并落地准确性、成功率、效率、鲁棒性等指标。

4.搭建和维护自动化评测流水线或评测平台，支持多模型、多版本、多配置的批量评测、结果复现和实验管理。

5.负责评测结果分析与洞察，开展统计分析、可视化、bad case 归因、能力边界研判和趋势分析，输出评测报告、技术报告、榜单、白皮书等成果。

6.参与科研项目申报和课题研究工作。

工作要求
1.计算机、软件工程相关专业博士，熟悉大模型、代码智能体基础理论；掌握代码生成、缺陷修复、程序分析技术，了解大模型基准评测、数据集构建方法，熟悉各类大模型与智能体工具。

2.具备 AI 软件工程或大模型评测相关科研经历，有论文 / 项目成果优先；可独立设计实验与评价指标，熟悉基准构建、统计分析，具备实验验证与数据分析能力。

3.逻辑缜密；具备项目文本撰写能力，熟悉国家项目申报、执行及验收流程，良好沟通协作与成果输出能力。

4.紧跟领域前沿，严谨务实，重视实验可复现性；能够持续迭代评测体系，责任心强，耐心乐于攻坚克难。

专业要求
工学、理学