岗位描述
岗位职责
1. 负责公司基础架构大数据处理平台的规划和设计;
2. 大数据架构的平台调度器、配置参数的优化以及业务层面的流程优化;
3. hadoop、spark、hive的深度整合;
岗位要求
1. 熟悉Linux常用发行版本redhat(centos)、ubuntu(debian)等开发环境;
2. 熟练java、python中的一种语言,熟练掌握linux shell开发;
3. 熟练mongoDB、MySQL、PostgreSQL等常用数据库;
4. 精通hadoop、spark、hive的实现原理,5年以上大数据研发架构研发经验;
5. 有hive、spark-streaming 、storm等开发经验者优先;
6. 对操作系统运行原理、网络通讯、多线程、高并发服务等有一定的了解和研究;
7. 较强的团队合作精神,吃苦耐劳,良好的沟通能力;
8. 崇尚开源,对新鲜的事物有较强的学习能力和研究兴趣;