数据工程师

负责大规模训练数据处理系统建设，支撑模型训练所需数据的获取、清洗、生产和管理。你将面对 Billion 至 Trillion 级别的数据规模，构建高性能、高可靠的数据处理平台，为模型训练提供稳定的数据基础设施。

岗位职责

设计和开发大规模数据处理系统，支持训练数据从采集、清洗到生产的完整生命周期管理。

构建高质量数据治理流程，包括过滤、去重、质量评估和数据版本管理等核心能力。

优化大规模数据处理性能，提高计算资源利用率和整体处理效率。

建立数据质量监控和异常检测机制，保障训练数据的稳定性和一致性。

与训练和数据团队协作，支持不断增长的数据生产需求并持续提升系统可扩展性。

任职要求

计算机相关专业背景。

扎实的软件工程能力。

熟练掌握 Python。

熟悉大规模数据处理流程和常见数据处理框架。

具备良好的系统设计和工程实现能力。

加分项

熟悉 Spark、Ray、Flink 等数据处理框架。

具有大规模训练数据处理经验。

参与过搜索、推荐或大模型数据系统建设。