岗位描述
职责描述:
1、负责大数据平台相关产品的设计、开发、文档撰写。
2、参与大数据平台上业务应用的功能设计和开发。
职位要求:
1、能够应用分布式编程、NIO、AIO、RPC等底层技术,完成相关大数据扩展 功能研发。
2、了解Hadoop体系结构、对Hadoop生态圈了解。
2、熟悉 spark、storm、flink、hive、hbase、ES、kylin等大数据组件底层原理和框架,并结合实际业务场景进行大数据应用面向不同场景的封装、调优。
3、能够使用Java、Scala中至少一门语言进行数据处理。
4、熟悉Linux系统以及Shell脚本语言。
5、精通MySql,Redis,ES,Mongo等开源缓存和数据库中间件。
6、具有一定的数据库设计能力,能够撰写规范的技术文档。
7、掌握常用的设计模式和架构模式,能够熟练使用建模工具进行系統设计。