岗位描述
岗位职责
1. 基于业务场景(如电商、金融、物流等),设计分层数据仓库模型(ODS/DWD/DWS/ADS),制定统一的数据规范与标准,确保数据的准确性、一致性与可扩展性;
2. 使用SQL(Hive SQL/Spark SQL)、Python等工具,开发数据抽取、清洗、转换、加载等ETL流程,解决数据质量问题(如缺失值、重复值、异常值处理);
3. 基于Hadoop/Spark/Flink等大数据生态组件,设计并实现离线/实时数据处理任务,优化任务性能(如资源分配、SQL调优、分区策略等),提升数据处理效率;
4. 设计数据质量监控规则(如数据血缘追踪、异常值告警、数据一致性校验),确保数据的完整性、及时性与可靠性;
5. 与业务方、数据分析师、算法工程师紧密合作,理解业务需求并转化为数据解决方案,支持经营分析、用户画像、推荐系统、风险决策等业务场景的数据需求;
6. 编写数据字典、技术文档(如数据模型设计文档、ETL开发文档),推动团队数据开发流程与规范的落地。
任职要求
教育背景
- 本科及以上学历,计算机、统计学、数学、信息管理等相关专业(优秀者可放宽);2026届应届毕业生
专业技能
1. 基础专业课程优秀, 熟悉Linux常用命令, 掌握Java/Python/Go等至少一种基础编程语言和基本的数据结构与算法
2. 熟练掌握SQL语法(复杂查询、窗口函数、子查询等),有Hive SQL/Spark SQL开发经验者优先;
3. 了解Hadoop/Spark/Flink等大数据生态组件(如HDFS、YARN、MapReduce),熟悉至少一种大数据计算框架(如Spark Core/SQL);
4. 掌握数据仓库分层模型(ODS/DWD/DWS/ADS)、维度建模(星型/雪花模型)等基础知识,了解数据治理与数据质量管控方法;
能力素质
1. 具备较强的数据分析能力与逻辑推理能力,能快速理解业务需求并转化为数据解决方案;
2. 对大数据技术有好奇心,能快速学习新技术(如实时计算、数据湖等),适应技术迭代;
3. 良好的团队协作意识,能清晰表达技术方案,与业务、分析、算法等多团队高效沟通;
加分项
1. 有数据仓库/BI项目实习经验(如参与过企业级数仓搭建、经营分析系统开发);
2. 熟悉实时数仓技术(如Kafka+Flink+ClickHouse)或有相关项目经验;
3. 有数据建模工具(如Erwin、PowerDesigner)或数据可视化工具(如Tableau、FineBI)使用经验;
4. 在校期间参与过数据竞赛(如Kaggle、天池)或发表过相关技术博客/论文。