锦鲤求职岗位描述
【岗位定位】
面向Code Agent及大语言模型，负责Harness设计与优化、自动化评测体系建设及复杂任务能力分析。围绕真实软件工程场景，构建可执行、可复现、可诊断的评测环境，通过对照实验与执行轨迹分析，识别模型和Agent系统的能力边界，推动模型、Harness及产品效果持续提升。
我们希望寻找既理解Agent运行机制，又具备评测实验与工程落地能力的人，能够深入分析影响任务表现的关键因素，并通过实验验证优化方向。
【岗位职责】
设计与优化分层Harness。根据评测目标，搭建用于观察模型基础能力的极简Harness，以及面向Coding等复杂任务、集成工具链与环境反馈的完整Harness，评估不同配置对任务表现的影响。
建设自动化评测框架。支持多模型、多Harness、多Benchmark的统一接入与对比，完善任务调度、环境隔离、执行记录、结果汇总及失败重试等能力，提升评测的稳定性与可复现性。
接入与构建评测基准。接入SWE-bench、Terminal-Bench等内外部Benchmark，并结合真实开发需求构建代码理解、缺陷修复、功能开发、构建测试及长程任务等评测场景。
设计评测指标与判定方法。围绕任务完成质量、执行效率、工具使用、指令遵循及运行稳定性等维度，结合可执行测试、规则校验和必要的人工复核，提升评测结果的可信度。
开展执行轨迹分析与问题归因。定位规划失败、工具误用、上下文遗忘、指令偏移及异常恢复失败等问题，通过对照与消融实验，区分模型能力、Harness设计、工具接口、运行环境及任务数据的影响。
推动评测结果形成优化闭环。围绕自研类Copilot CLI产品，验证上下文管理、工具配置、记忆机制、执行策略等改进效果，沉淀回归用例、高质量轨迹及训练数据，为模型训练、数据优化和产品迭代提供依据。
【任职资格】
熟悉大语言模型及AI Agent的基本原理，理解任务规划、工具调用、上下文管理、多轮交互、记忆机制和错误恢复等机制，能够分析其对评测结果的影响。
深度参与过Agent Harness、自动化评测框架、Benchmark建设或复杂Agent核心模块开发，能够独立完成评测任务接入、实验设计、执行分析及问题排查。
熟练掌握Python，具备扎实的软件开发与调试能力，熟悉Linux、Git及常见构建测试工具，能够搭建和维护真实代码任务的运行与验证环境。
具备较强的实验设计、数据分析和问题归因能力，能够控制实验变量，识别结果波动、环境异常及评测方法偏差，并通过实验验证判断。
理解复杂任务和长程Agent的评测难点，关注任务成功判定、运行稳定性、执行成本及结果可复现性，能够设计具有区分度的任务和指标。
熟悉AI编程工具或CLI Agent的使用与运行方式，能够结合执行轨迹、工具接口及上下文组织方式分析问题；具备超出日常工具使用层面的开发或评测实践。
【加分项】
熟悉SWE-bench、Terminal-Bench、OSWorld、WebArena等Agent Benchmark，有任务构建、评测适配、结果复现或基准质量改进经验。
熟悉Agent Runtime、沙箱、容器化执行、并发调度、权限管理、状态恢复或执行过程监控，有自动化评测基础设施建设经验。
深度参与过Code Agent、AI编程工具、Browser/GUI Agent、Deep Research Agent或通用工作Agent的核心开发，具备真实复杂任务优化经验。
具备大模型后训练、Agent强化学习、工具调用训练或轨迹数据构造经验，能够将评测发现转化为训练与数据优化方案。
有Agent Harness、评测框架、Benchmark、开发者工具等相关开源项目、论文或产品落地经历。