岗位描述
岗位职责
岗位职责:
1、负责数据仓库的模型设计、ELT开发及性能优化,支撑结构化数据(业务库、日志等)与非结构化数据(JSON、文档、音视频元信息等)的高效存储与计算;
2、参与数据相关项目的架构设计、需求评审、技术攻坚及优化,保障数据链路的高可用、低延迟与数据一致性;
3、参与建立数据领域规范,涵盖数据建模标准、代码开发流程、数据质量安全规范等,并有效利用 AI 工具推动规范在团队的落地执行;
4、参与数据平台工具类组件的开发与维护,包括但不限于数据同步工具、数据质量校验平台、任务调度系统、数据血缘分析工具等,提升数据开发与管理效率;
5、跨团队协作,系统性排查和解决数据生产链路中的各类运行或数据质量问题,保障数据准确及时交付。
岗位要求
岗位要求:
1、计算机及相关专业本科及以上学历,3年以上数据仓库开发或大数据开发经验,1年以上使用AI工具进行数仓开发、测试经验;
2、具备数仓建模方法论知识(如星型模型、雪花模型等),能够根据业务场景设计合理的数据分层架构(ODS/DWD/DWS/ADS),维护准确的业务矩阵总线;
3、熟悉EMR、StarRocks等OLAP引擎,熟练掌握SQL/Hive SQL/Spark SQL的编写与调优;熟悉Hadoop生态(HDFS/YARN)、Spark、Hive等;
4、熟悉Java、Python、Go等其中至少一门开发语言,具备数据平台工具类项目(如数据同步、任务调度、质量监控等)开发经验者优先;
5、对非结构化数据处理有一定了解,熟悉JSON/Parquet/ORC等常用数据格式的读写与处理;
6、热爱大数据行业,具有强烈的技术自驱力,认同数据驱动业务发展的理念,对数据价值变现具有深度热情;
7、具备良好的沟通能力、逻辑思维能力和团队协作意识,对工作交付质量富有责任心。