岗位描述
岗位描述
1.负责大数据平台日常运维与性能优化,开展集群监控与故障排查;
2.优化数据处理流程,提升系统运行效率;
3.配合业务部门完成数据需求分析,提供数据支撑服务;
4.参与数据仓库建设与数据治理,保障数据质量。
任职要求
1.本科及以上,计算机科学、软件工程、数学、统计学相关专业;
2.扎实的计算机基础,熟悉数据结构、算法及操作系统原理;
3.熟练掌握 Java 或 Python,具备 Shell 脚本编写能力,精通 SQL;
4.熟悉 Hadoop 生态(HDFS、HBase、Hive、Spark、Flink、Kafka),了解各组件原理及性能调优;
5.熟悉关系型数据库(Oracle / MySQL)和 NoSQL(MongoDB / Redis),理解其适用场景;
6.具备数据仓库开发经验,能独立设计并实现 ETL 数据处理流程;
7.熟悉分布式计算框架,能基于 Hadoop / Spark / Flink 进行应用开发与优化;
8.了解常用机器学习算法,能根据业务需求选用合适的数据分析方法。