岗位描述
岗位定位:
1、面向大模型训练、模型评测、Agent 评测及高难度专家数据生产项目,负责将领域专家、数据生产人员与 AI/工程工具的能力进行组合,通过数据处理、自动化工具及 AI Workflow 提升复杂数据生产的效率、标准化程度与交付质量。
2、该岗位并非传统纯软件开发岗位,更关注理解数据生产需求,并将生产规则转化为可执行、可复用的技术方案。
岗位职责:
1、复杂数据生产方案设计
理解大模型训练、评测及专家数据生产任务的数据结构与生产要求;
与项目经理、QA及领域专家协作,将复杂任务拆解为“专业判断、标准化加工、技术处理”等不同环节;
设计 Expert + Crowd + AI + Engineering 的组合式生产流程。
2、数据处理与整合
对不同生产环节产生的数据进行清洗、转换、匹配、合并及结构化处理;
根据交付 Schema 完成多来源数据的自动化整合;
处理 JSON、JSONL、CSV、Excel 等常见数据格式,并完成字段映射、格式转换及批量处理。
3、生产规则自动化
将明确的数据生产规则、质量规则转化为脚本、校验器或轻量工具;
自动检查字段缺失、格式错误、编号异常、数据冲突、重复数据及规则不一致等问题;
降低人工重复操作及基础错误率。
4、LLM / Agent 辅助生产
利用大语言模型或 Agent 搭建数据生产辅助流程,包括但不限于信息抽取、内容结构化、数据比对、Issue Extraction、Rubric 辅助处理、结果合并及自动 QC;
根据人工生产反馈持续优化 Prompt、Workflow 及模型调用策略;
判断不同生产环节适合由人工、专家还是 AI 完成。
5、内部生产工具建设
根据项目需求快速开发轻量级数据处理工具、批处理脚本或内部工作流;
支持PM、QA及生产人员提升批量数据处理和质量检查效率;
将一次性项目方案逐步沉淀为可复用的数据生产能力。
6、项目技术支持
支持项目启动阶段的数据结构分析、技术可行性判断及生产流程设计;
协助定位生产过程中出现的数据、规则及工具问题;
与PM共同评估技术方案对成本、产能、质量和交付周期的影响。
任职要求:
1、本科及以上学历,计算机、软件工程、数据科学、人工智能等相关专业优先;
2、熟练使用 Python,能够独立完成数据清洗、转换、合并、校验及批处理脚本开发;
3、熟悉 JSON / JSONL / CSV / Excel 等常见数据结构和数据处理方式;
4、有调用 LLM API、Prompt Engineering、Agent Workflow 或 AI 自动化工具经验;
5、能够将业务规则抽象为清晰的程序逻辑或自动化流程;
6、具备较强的问题拆解能力,能够理解相对复杂的数据生产规则;
7、具备良好的跨团队沟通能力,能够与PM、QA及非技术领域专家协作。
加分项:
有大模型训练数据、RLHF、SFT、模型评测、Agent Evaluation 或专家数据生产经验;
有数据标注平台、质检系统或数据生产 Pipeline 相关经验;
熟悉 SQL、Pandas、正则表达式及常见数据处理工具;
有 LangChain、LangGraph、Dify、Coze、n8n 等 LLM / Workflow 工具实践经验;
有快速搭建内部 Web Tool、数据 Dashboard 或自动化工具的经验;
对 AI 数据生产中的质量、成本、产能之间的平衡有实际理解。