数据与测评工程师

职责描述
• 负责 AI 模型训练、后训练及评测所需数据集的设计、构建、清洗、筛选、版本管理与质量控制。

• 建设覆盖不同模型与任务的 Benchmark、测试集和评测标准，持续提升评测的代表性、稳定性与可解释性。

• 构建自动化评测、人工评测及 Model-as-Judge / LLM-as-Judge 等评测流程，并持续校准评测结果。

• 建立 Failure Taxonomy、回归分析和错误诊断机制，定位模型、数据和产品体验中的系统性问题。

• 设计并维护数据采集、标注、审核及供应商协作流程，建立可量化的数据质量标准。

• 与研究、算法、产品及数据平台团队协作，将真实使用反馈转化为数据与评测需求，推动模型持续迭代。

• 开发数据分析、评测流水线、Dashboard 及相关工具，提高研发和版本验证效率。

• 跟踪大模型、多模态模型、Agent 等方向的数据与评测方法，持续引入有效的新技术与新指标。

任职要求
• 计算机、人工智能、数据科学、统计、数学、电子信息或相关专业。

• 熟悉 Python、SQL 及常用数据处理工具，具备较强的数据分析和工程实现能力。

• 理解机器学习、深度学习或大模型的基本训练与推理流程，能够与研究及算法团队进行有效协作。

• 对数据质量、实验设计、统计分析和评测指标具有较强敏感度，能够从复杂结果中发现关键问题。

• 具备严谨的工作习惯、良好的沟通协作能力和结果导向。