岗位描述
【岗位职责】
1、负责企业整体数据架构规划、设计与迭代优化,搭建标准化、可扩展、高稳定的数据体系,统筹数据采集、清洗、转换、集成、建模、存储、计算、服务输出全生命周期数据处理流程,规范数据处理标准与落地流程,解决海量、多源、异构数据处理中的核心难点问题。
2、参与数据空间相关产品的架构设计、方案落地与技术迭代,熟悉数据空间的数据确权、数据共享、数据流通、数据安全管控、跨域数据协同等核心能力。
3、专项负责气象,信贷金融等各类数据场景的数据模型设计,梳理专项数据的业务特性、数据规范、处理规则,完成数据的清洗、归一化、关联建模、质量校验与数据治理,支撑核心业务场景。
4、精通各类大数据处理技术与工具,根据业务场景完成技术选型、架构搭建与性能优化,负责大数据集群、数据仓库、数据湖的架构设计与运维优化,保障数据处理的高效性、准确性、实时性,支撑离线批量计算、实时数据流处理等各类业务需求。
5、搭建完善的数据治理体系,涵盖数据标准、数据质量、数据血缘、元数据管理、数据权限、数据安全等模块,制定数据处理规范、建模规范、开发规范,持续优化数据架构,降低数据成本,提升数据复用率与数据价值。
6、对接业务、产品、开发团队,拆解业务数据需求,输出架构设计方案、数据模型、技术规范等文档,指导数据开发工作落地,跟进新技术、新架构趋势,持续优化数据体系,赋能业务数字化升级。
【任职要求】
1、学历与经验
硕士及以上学历,计算机、数据科学、统计学、气象相关专业优先,5年及以上数据架构、大数据平台搭建、数据治理相关工作经验,有中型及以上企业数据体系搭建落地经验。
2、核心能力:数据处理全流程能力
熟练掌握完整的数据处理业务流程,精通多源数据采集、数据清洗、数据脱敏、数据转换、数据融合、数据建模、指标计算、数据校验、数据服务输出全链路流程,具备复杂异构数据的整合、治理与优化能力,能够独立解决数据冗余、数据不一致、数据质量差等各类数据问题。
3、核心能力:精通数据处理工具与方法
精通主流大数据技术栈,熟练使用Hadoop、Spark、Flink、Hive、Kafka等大数据计算与中间件组件;熟练掌握MySQL、Oracle、MongoDB、Redis、MPP数据仓库等各类数据库的架构与使用;熟练运用SQL、Python等数据处理工具,精通维度建模、范式建模、数仓分层等数据建模方法,具备大数据架构选型、性能调优、故障排查能力。
4、加分项
(1)数据空间产品经验:具备数据空间、数据共享平台、数据要素平台相关产品架构设计或落地经验,熟悉数据空间技术架构、数据流通规则、安全合规体系,了解行业数据空间建设标准优先;
(2)气象数据处理经验:熟悉气象行业数据标准,有气象观测数据、卫星遥感数据、气象预报数据、气象格点数据处理、解析、建模、分析落地经验优先;
(3)信贷数据处理经验:熟悉金融信贷行业数据规范,有信贷风控、征信数据、用户授信、交易流水等金融数据处理、指标体系搭建、风控数据建模经验优先。