岗位描述
岗位职责
1、负责大数据平台的整体架构设计与技术选型,支撑海量生产数据(日志、时序、视频、SPC Chart 等)的采集、存储、计算与治理;
2、打通 MES、EAP、FDC 等多源异构数据,构建统一数据湖/数据仓库,建立数据标准与质量管控体系;
3、设计并实现数据查询 API、数据服务接口,为上层智能体(Agent)、AI 模型、BI 分析提供稳定、高效的数据支撑;
4、负责大数据平台的性能调优、资源管理与成本控制,保障高并发、低延迟的数据查询与分析能力;
5、与算法、业务团队协作,支撑 AI 场景的数据需求,推动数据驱动的智能应用落地;
6、制定数据平台技术规范与最佳实践,指导团队成员,跟踪大数据技术前沿,持续迭代平台能力。
岗位要求
1、本科及以上学历,计算机、电子信息、数据科学等相关专业;8 年以上大数据相关工作经验,其中 3 年以上半导体/Fab 行业工作经验;
2、精通 Hadoop、Spark、Flink、Kafka、Starrocks 等主流大数据组件,熟悉数据湖(如 Iceberg、Starrock)与湖仓一体架构;
3、主导或深度参与过大数据平台从 0 到 1 的搭建或重大升级,具备海量数据(TB~PB 级)处理经验;
4、熟悉半导体 Fab 生产流程与 IT 体系(MES、EAP、FDC、SPC 等),理解生产数据的特点与业务场景;
5、具备数据标准、数据质量、元数据管理、数据血缘等方面的实践经验;
6、精通 Java/Scala/Python 中至少一种,熟悉 SQL,具备优秀的性能调优能力。