AI评测专家

岗位职责
一、岗位基本信息
随着AI Coding、大模型与智能体技术深度落地，传统软件测试模式已无法适配新一代AI研发范式，测试效率瓶颈、AI系统质量不可控、评测体系缺失等问题成为企业数字化交付的核心痛点。本岗位为AI测试专家，核心负责AI新范式下企业整体测试体系重构与企业级AI系统全链路质量评测体系建设，兼具测试工程效能升级与AI质量可信保障双重能力。
岗位将依托大模型、智能体等AI技术，系统性解决传统测试效率短板与AI应用质量风险问题，重构测试方法论、角色定位与智能化测试基建，搭建覆盖知识、模型、智能体全维度的AI质量评测体系，推动测试团队从“用例执行者”向质量决策者、智能体构建者、AI质量架构师转型，实现研发、算法、测试效率同频与AI产品全生命周期质量可信交付。
二、核心职责
本岗位核心围绕AI测试体系效能重构、企业级AI质量评测体系建设两大核心板块开展工作，统筹测试效率升级、方法论迭代、基建落地、AI质量管控、团队转型赋能全流程工作，具体职责如下：
（一）测试效率治理与体系重构
深度诊断AI Coding时代软件研发测试全链路效率瓶颈，搭建标准化、可量化的测试效能度量体系，针对性制定、落地全域提效方案，实现核心测试周期压缩50%以上的目标。结合AI研发新范式，重新定义测试人员专家级角色定位，打造测试场景设计者、智能体训练师、质量风险决策者、基建构建者的新型岗位能力模型，设计完整的团队转型路径并落地推进。同时重构传统测试体系，将老旧的“用例驱动”测试模式升级为目标驱动+风险驱动的新型测试方法论，搭建智能体辅助测试设计、探索式测试、动态测试策略等创新方法体系，沉淀可复用、可规模化的AI时代测试规范与行业最佳实践。
（二）智能化测试基建规划与落地
主导企业全域智能化测试基建的整体规划、架构设计与落地迭代，搭建可扩展、高可用的AI测试能力底座。核心建设内容包含测试智能体平台、新一代自动化测试框架、测试数据智能生成与全生命周期管理系统、测试环境标准化治理体系、研发质量智能门禁系统等核心基建。深度落地大模型、智能体、提示词工程等AI技术，赋能需求转用例、测试脚本自愈、缺陷智能分析、测试流程自动化编排、全域探索式测试等全测试链路，完成技术落地效果验证、ROI评估与规模化推广应用，打通AI技术与测试工程的深度融合。
（三）企业级AI系统全维度质量评测
从零到一搭建企业级AI系统质量评测体系，覆盖知识评测、模型评测、智能体评测三大核心方向，实现AI应用从研发、训练、迭代到上线交付的全链路质量可信管控。针对知识图谱、检索库、企业知识库开展专项质量评测，精准校验实体准确率、召回率、排序质量、引用准确率、幻觉率等核心指标，定位知识链路核心瓶颈并输出专业优化方案。结合业务场景迭代优化开源评测基准，设计自定义评测规则与专属评测数据集，主导训练数据规模化清洗、分级加工，科学完成训练集、验证集、测试集划分，搭建“评测—归因—优化—回归”的闭环迭代机制。针对AI智能体业务场景，拆解场景特征、划分任务类型、定义技能评测模块，设计高适配、高性价比的评测方案，基于评测数据完成深度归因分析，精准区分模型缺陷、提示词漏洞、工具调用错误、业务适配问题等根因，输出可落地的质量优化决策。
（四）研测协同与团队能力建设
创新AI时代研测协同范式，深度融入研发、算法、产品全流程，参与核心技术决策、方案评审与效果交付，推动评测结果、测试数据反哺模型训练、知识迭代、智能体能力优化，实现质量前置、测试左移、全域质量共建。统筹测试团队AI能力转型建设，搭建系统化的AI测试培训体系与实战落地项目，针对性培养兼具传统测试功底与AI技术能力的复合型测试人才，打造专业化、专家化的AI质量保障团队，提升团队整体工程效能与AI质量管控能力。

岗位要求
任职资格
（一）基础资质
计算机、软件工程、人工智能、数学、统计学等相关专业，本科及以上学历；8年以上软件测试整体工作经验，包含3年以上测试架构、测试团队管理、测试效能体系搭建经验，同时具备2年以上大模型评测、AI应用全链路质量保障实战经验。
（二）核心实操能力
深度熟练使用Trae、Cursor、Claude Code等主流AI编程工具，深刻理解AI Coding范式对研发、测试流程的颠覆性改变，具备实战解决AI时代测试效率痛点的经验。熟练掌握Python/Java/Go至少一门编程语言，可独立开发测试工具、自动化测试框架、评测脚本与数据分析工具，能够搭建自动化评测流水线。具备扎实的统计学、数据分析功底，可通过数据建模、数据拆解定位质量与效率问题，用数据支撑质量决策、效能优化决策。
（三）体系建设经验
具备测试自动化平台、测试框架、测试数据平台等核心测试基建从零到一搭建或大规模重构落地经验；拥有测试方法论迭代、测试流程体系重构的实战经验，具备系统性、全局化的测试体系搭建思维，而非单点工具优化。具备企业级AI评测体系从零到一建设、评测规范/流程/工具链搭建经验，可将AI评测能力深度嵌入研发流水线，搭建上线质量门禁机制。拥有自定义AI评测基准设计、专属评测集搭建与闭环迭代的成功落地案例。
（四）AI专业能力
深刻理解大模型、检索增强、智能体架构、提示词工程的核心原理与底层逻辑，精准掌握AI研发全流程的质量风险点。在知识评测、模型评测、智能体评测三大方向中至少一个方向具备深度深耕经验，其余两个方向具备扎实基础认知与快速落地学习能力。具备成熟的AI评测归因分析、质量优化决策经验，可精准定位AI系统各类质量问题根因并输出落地优化方案。
（五）综合软实力
具备团队管理、技术赋能与团队转型推动经验，拥有较强的技术影响力，可统筹团队完成传统测试向AI驱动测试的转型。具备优秀的跨团队协作能力，可高效联动研发、算法、产品团队推进技术决策、质量优化方案落地。能够快速拆解业务架构、熟悉研发全流程，精准识别测试效率痛点与AI产品质量短板，设计系统性、可落地的整体解决方案。

加分项
- 具备头部互联网、AI大厂（字节、阿里、美团、小红书等）AI测试效能提升、测试团队转型、大规模AI应用质量保障的完整成功案例；
- 拥有测试智能体、AI辅助测试工具、AI评测平台从零到一研发、落地与规模化推广经验；
- 具备大模型应用、智能体开发实战经验，可从开发者视角精准预判、识别AI产品核心质量风险；
- 深耕DevOps、持续交付、工程效能领域，具备研发工程体系整体优化落地经验；
- 在AI评测、自然语言处理、信息检索、智能化测试领域拥有技术博客、开源项目、技术专利或行业公开演讲经历。