数据平台系统工程师/专家

职责描述
• 参与大规模数据湖 / Lakehouse、对象存储、元数据和数据目录等核心平台能力建设。

• 建设批处理、流处理、ETL / ELT、数据转换及任务编排链路，支持海量结构化与非结构化数据处理。

• 面向文本、图像、音频、视频、3D 等多模态数据，建设统一的数据接入、加工、索引和服务能力。

• 建设数据版本、Lineage、Schema、质量检测、去重、过滤、采样和可追溯机制。

• 为模型训练、后训练和评测提供高吞吐数据读取、数据分片、缓存及高效 I/O 能力。

• 建设数据权限、安全、隐私及生命周期管理机制，确保数据合规和平台可靠运行。

• 优化大规模数据处理的性能、稳定性和成本，并建设监控、告警和运维体系。

• 与 AI Infra、算法、数据与评测团队协作，将数据需求抽象为通用平台能力。

任职要求
• 计算机、软件工程、数据科学或相关专业。

• 具备扎实的数据结构、数据库、分布式系统、操作系统和网络基础。

• 熟悉 Java、Go、Python、Scala、C++ 等至少一种主流语言，具备良好的系统开发能力。

• 熟悉 SQL 及主流大数据处理技术，对批处理、流处理、存储和数据治理有系统理解。

• 有数据平台、大数据平台、数据湖、搜索系统或分布式存储相关研发经验。

• 具备良好的问题定位、工程质量意识、沟通协作能力和结果导向。