高级/专家AI软件测试 - 韶音社招

岗位描述

岗位职责

建设 AI 软件测试体系

面向 AI Agent、RAG、智能助手等产品，制定测试策略、质量标准和测试方案，覆盖功能、效果、稳定性、性能、安全及兼容性测试；推动测试活动融入需求、开发、发布和线上运营流程。

开发自动化评测平台与工具

设计并实现 AI 应用自动化测试框架，支持测试集管理、批量执行、结果采集、指标计算、报告分析、版本对比和回归测试。根据业务需要集成 DeepEval、LangSmith 等评测或可观测工具，并能扩展自定义评测器。

开展 Agent 白盒测试

建立对 Agent 内部执行过程的验证能力，重点覆盖任务规划、上下文构建、记忆读写、RAG 检索、工具选择与调用、状态流转、异常恢复和多轮对话。能从 Trace、事件流、日志或结构化中间结果中定位问题并设计校验规则。

设计并维护测试数据集

将需求和业务场景拆解为可执行测试用例，构建包含输入、参考答案、期望工具行为、评估规则和业务标签的数据集；管理数据质量、版本和回归范围，持续沉淀线上失败案例。

任职要求

本科及以上学历，计算机、软件工程或相关专业；具备 5 年及以上AI测试经验，有 AI 应用、Agent、LLM 或 RAG 测试经验，覆盖功能、效果、稳定性、性能、安全及兼容性测试

熟练掌握 Python，具备良好的工程能力，能够独立设计和开发测试框架、评测服务、数据处理工具及自动化脚本；熟悉常用代码管理、构建和调试工具。

理解 Agent 的基本执行链路，能分析模型调用、规划步骤、工具调用、上下文与记忆、RAG 检索等中间过程，并据此设计白盒校验点。

熟悉 Trace、日志、指标或事件流的采集与分析；具备可观测性工具的使用或集成经验。能根据测试目标设计结构化埋点、关联 ID 和结果数据结构。

熟悉一种或多种评测框架或平台，例如 DeepEval、LangSmith、Ragas、OpenTelemetry 生态或自研评测平台；能够评估工具适用范围并完成集成。