AI数据治理工程师

岗位职责：

1. 负责大模型预训练及后训练数据处理体系的设计与建设，覆盖数据解析、清洗、去重、质量过滤及评估等关键环节，打造支持 TB 级及以上数据规模的高性能处理 Pipeline；

2. 负责多源异构数据的解析与结构化处理，重点解决 PDF、网页、表格等复杂数据格式的内容抽取、版面识别及数据标准化问题，提升训练数据的准确性、完整性与可用性；

3. 持续优化数据处理链路的性能与稳定性，结合分布式计算、存储优化及任务调度等技术，提升海量数据处理效率，保障数据生产流程的可扩展性与可靠性；

4. 建立和完善数据质量评估与治理机制，探索数据去重、质量筛选及自动化处理等技术方案，持续提升高质量训练数据的生产效率与工程化水平。

岗位要求：

1. 本科及以上学历，计算机、软件工程或相关专业背景，具备扎实的编程基础、算法能力及系统设计能力，精通 Python，并熟练使用 C++、Rust、Go 中至少一种语言；

2. 具备 TB 级及以上规模的数据处理与工程实践经验，熟悉 Spark、Hadoop、Ray、Flink 等分布式计算框架中的至少一种，能够独立进行大规模数据任务开发、性能分析与优化；

3. 熟悉海量数据清洗、相似性检测与去重技术，理解 MinHash、SimHash、Embedding-based Deduplication 等算法原理及适用场景，具备数据质量过滤与处理链路优化经验；

4. 熟悉分布式存储与海量数据 IO 处理机制，理解 Parquet、Arrow 等数据格式及其性能特点，具有高吞吐数据 Pipeline 设计、并发处理和存储访问优化经验；

5. 熟悉文档解析、OCR、版面分析及内容抽取等技术，具备 PDF、网页、表格等非结构化或半结构化数据的处理经验，能够解决复杂文档解析中的工程问题；

6. 具备良好的 AI 工程实践能力，能够熟练使用 AI 编程工具辅助研发，快速完成数据处理组件的设计、开发、测试与优化，注重代码质量、系统稳定性及可维护性；

7. 具备大模型预训练、后训练数据集建设或高质量训练语料生产经验优先。