岗位描述
一、岗位职责
1.业务需求分析与数据模型设计:对接航空业务场景,拆解各类数据需求,独立设计数据仓库架构,熟练搭建星型、雪花数据模型,规范定义维度表、事实表及数据关联关系,完成数仓、ODS层等分层架构设计。
2.数据功能开发:基于Python等开发语言的数据开发,负责ETL搭建与优化迭代,完成航空业务的抽取、清洗、转换、加载全流程开发,编写高效的数据分析、处理、转换、聚合逻辑,保障数据流转高效、稳定。
3.应用功能开发:负责后端系统的应用系统功能的开发、测试、维护、上线等研发工作。
4.数据治理与元数据管理:搭建并落地企业数据治理体系、数据资产管理制度,统筹数据标准化、数据分类分级、数据权限、数据生命周期管理工作;持续维护数据字典、元数据文档,明确各类数据字段含义、数据来源、更新频率、使用规范,保障数据资产可追溯、可管理、可复用。
5. 数据质量管控与异常处理:搭建适配航空业务的数据质量校验体系,制定完整性、一致性、准确性、唯一性校验规则,常态化检测数据空值率、重复率、逻辑一致性等指标;开展数据测试工作,输出标准化数据质量测试报告,精准识别数据异常问题,制定修复方案并落地整改,同步记录数据问题与修复全过程。
6. AI数据赋能与场景落地:运用AI相关技术能力,优化数据处理算法、智能校验模型,依托AI能力实现数据异常智能识别、数据自动清洗、数据价值挖掘,支撑AI数据应用场景落地。
7. 文档输出与技术支撑:规范化输出数据表/模型设计文档、系统设计文档、测试用例、数据异常处理记录等全套研发文档;常态化支撑研发团队、业务部门的数据查询、数据分析、数据报表开发需求,为航空业务运营、决策提供可靠数据支撑。
8.数据任务调度与运维监控:负责数据定时任务、触发式任务流的配置与落地,常态化监控各类数据调度任务的执行状态,及时排查任务失败、延迟、中断等问题,保障数据产出的时效性、连续性。
9. 其它运维保障与值班:参与24小时运维值班保障,保障与支持IT相关的故障与服务请求。
二、任职要求
1.本科及以上学历,计算机、大数据、软件工程、统计学等相关专业,3年以上数据开发相关工作经验;
2.具备良好的逻辑思维、数据敏感度,能够快速定位数据问题、优化数据流程;
3.具备较强的沟通协调能力和问题解决能力,能够高效对接业务与研发团队;
4.工作严谨负责,具备良好的执行力、抗压能力和团队协作意识。
5.熟悉航空行业业务知识,了解航班运行、机务保障等核心业务场景,能够理解航空业务数据需求,有航空、交通行业数据开发经验者优先。
6.熟练掌握Python编程语言(有JAVA基础优先)及主流数据处理库(Oracle、Mysql),具备扎实的数据SQL开发功底;精通ETL开发工具和流程,熟悉批处理、实时流数据开发模式,能够独立完成数据管道搭建、代码开发与优化。
7.精通数据仓库分层架构,熟练掌握星型、雪花数据模型设计方法,精通维度表、事实表设计与关系定义,熟悉数据表结构、索引、约束优化,具备独立搭建企业级数据仓库的能力。
8.熟悉完整的数据治理体系和数据全生命周期管理流程,掌握数据质量管控、元数据管理、数据标准化、数据资产化建设方法,能够独立制定数据资产管理制度、校验规则及管控标准。
9.有AI技术落地应用能力者(优先),能够结合AI算法、数据开发、数据清洗、数据质检流程,可支撑各类数据场景的开发与迭代。
10.熟悉数据调度任务搭建与运维,掌握数据测试方法,能够独立编写测试用例、输出数据测试报告、处理各类数据异常问题;具备良好的代码规范和文档编写能力,可独立完成各类研发文档的撰写与迭代。