大数据工程师

岗位职责
1、开发并维护华为大数据平台，在规定日程内完成指定的相关任务；
2、定义、设计、实现和维护多层级的分布式软件系统，并完善相关文档；
3、确保系统满足功能、性能、可扩展性、可靠性；
4、评估模块的开发工作量，规划实现工作，发布系统变更；
5、熟悉搭建和调优大数据基础平台，包括Hadoop/HBase/Hive/Sqoop/Kafka/Flume/Spark/Storm等大数据组件的环境搭建；
6、维护线上系统的稳定性、可靠性，通过分析现象快速定位问题，进而提出优化方案，改进要求；
7、理解业务问题，并能提出解决方案。

任职要求
1、计算机相关专业本科以上学历，均需全日制毕业，具备2年以上相关研发经验；（学历不符者请勿投递，谢谢！）
2、具备2年以上大数据处理相关工作经验；
3、良好的解决问题能力，能独立解决问题；
4、熟悉linux系统，能独立编写shell脚本；
5、熟悉 RDBMS（Oracle,MySQL,PostgreSQL）,NoSQL（HBase,Redis）等主流数据库,精通 Java编程；
6、具有丰富的分布式运算相关开发经验，有Hadoop、Hive、Mapreduce、Storm、Spark、Sparkstreaming等相关开发经验。
7、掌握大数据相关技术，如hbase/spark/elasticsearch/flink；
8、精通大数据平台上流处理中间件技术（Flume、Kafka、RocketMQ等）；
9、熟悉Java、jdbc，可使用Spring、Hibernate等框架，熟悉任务调度，缓存技术；
10、熟悉Elasticsearch，mysql，能够熟练操作数据库，有一定的性能调优能力；
11、熟悉Flume，Kafka，Redis，Spark等实时处理组件，有实际使用经验；
12、掌握面向对象设计思想， 2年以上java 开发经验；熟悉scala更佳；
13、有大型可扩展分布式系统设计或者大数据处理系统设计经验更佳；
14、有推荐系统或者用户画像系统开发经验更佳。