锦鲤求职岗位描述
岗位职责：1、建设场景级评测集、Golden Case 与自动化回归，定义发版质量门禁；2、设计证据包与停止条件（数据版本、模型版本、约束/规则结果、人工确认记录等）；3、实现或配置决策门控：超适用域降级、证据缺失拦截、风险分级转人工；4、与算法、认知运行时协作，将评测与门控接入 CI/发布流程；5、输出可审计的决策轨迹与验收报告材料；6、组织测试用例设计与回归执行、缺陷管理与版本质量报告；支持现场验收测试与问题复现；7、对合同约定的效果类指标建立在线测量口径并按门限判定，形成可向客户出示的举证材料；8、建设记忆与经验治理机制：Agent 结论回流的入库门控、经验条目的定期回标、技能条目的分级晋级判定。任职要求：1、具备评测集建设、自动化回归或质量门禁落地经验；2、具备规则引擎/策略引擎或业务审核、风控流水线经验之一；3、理解 LLM/Agent 常见失效模式（幻觉、越权工具调用、证据不足仍下结论）并能设计拦截点；4、熟练使用 Python，能开发校验器或评测脚本；5、具备审计留痕或操作可追溯方案设计/实现经验；6、具备把主观效果指标转化为可测量口径的能力：能定义「建议被采纳」「根因判断正确」的判定规则、采样方式与统计口径，并说明其局限；7、具备回归测试体系与缺陷管理经验，能设计数据类用例（对齐、缺失、时钟异常等）。