数据工程师

岗位职责
1、负责网络数据爬取，完成指定平台的数据采集、解析清洗、入库；
2、配合数据部门完成数据提取、查询、分析等工作。

岗位要求
1.本科以上学历，计算机相关专业；
2.有一定的Java基础，具备良好的编码能力,扎实的数据结构知识；
3.熟悉Python语言，具有良好的编程习惯;
4.熟练使用正则表达式、XPath、CSS 选择器等页面提取方式， 能够从结构化的和非结构化的数据中提取信息；
5.有反爬相关问题处理经验，熟悉常用的数据采集技术及架构设计；
6.熟悉MySQL、MongoDB等常用数据库；
7.有分布式数据采集架构经验者优先。