大数据开发工程师

岗位职责
1. 负责离线数据的开发与处理，基于大数据处理框架如Spark、Hive等实现数据清洗、加工与存储。
2. 根据业务需求设计高效的数据处理流程，支持数据分析与挖掘工作。
3. 优化现有的数据处理逻辑，提升系统性能及稳定性。
4. 参与数据仓库的设计与维护，确保数据的完整性与一致性。
5. 配合团队完成大数据平台的搭建与优化，解决技术难题。
6. 编写相关技术文档，确保数据开发流程和代码的可维护性。

岗位要求
1. 计算机科学、软件工程或相关专业背景，具有扎实的编程基础。
2. 熟悉大数据处理框架如Spark、Hive，具备实际开发经验。
3. 对大数据相关组件的原理有一定的了解，如HDFS、YARN、MapRed某浏览器e、HBase等。
4. 熟悉SQL语言，能够编写复杂的查询语句及优化SQL性能。
5. 具备数据结构与算法的基本知识，能够解决数据处理中的复杂问题。
6. 具有良好的问题分析能力和团队协作能力，能够高效完成任务。
7. 有大数据平台搭建或优化经验者优先。