AI数据工程师

岗位职责：

负责为公司打造AI数据的数据湖，打造可直接用于模型训练的数据资产。

任职要求：

数据工程功底：

1 年以上数据工程 / 数据基础设施经验，有大规模数据系统从设计到运维的经历；

精通 Python（含并发与内存管理）与 SQL，熟练掌握 Spark、Ray 中至少一项；

具备工作流编排与流水线可靠性设计能力，能自主建立监控、告警与数据对账机制。

存储与检索理解：

深入理解列式存储原理（Arrow / Parquet），能判断存储布局对查询与训练读取性能的影响；

具备向量检索工程能力，理解 ANN 索引在召回率、延迟与构建成本之间的权衡；

有性能问题的独立定位与优化能力，能对延迟与吞吐目标负责。

数据质量判断力：

能自主设计清洗、去重与校验规则，并把数据质量转化为可量化、可归因的指标；

能对语料做统计分析，主动发现分布偏差与质量问题。

训练数据认知：

理解模型训练与评测如何消费数据，能从训练目标倒推数据规格；

对 SFT / DPO / 多轮对话类数据集的构建有实际认知。

加分项：

有 Lance / LanceDB 生产使用经验，或向 Lance、Arrow、DataFusion 等开源项目提交过 PR；

有为生产级 LLM 从零构建训练集的经验，处理过百 TB 级以上语料；

有合成数据生成与质量控制的实操经验。