爬虫工程师

职责描述:

负责数据抓取平台规划和建设，完成数据采集与爬取、解析处理和入库

经验要求：3年以上的项目爬虫经验

技能要求:

（1）熟练掌握爬虫Scrapy，Colly等框架；

（2）熟练掌握网页抓取原理及正则表达式、XPath、CSS等网页信息抽取技术；

（3）熟悉常见的反爬虫机制解决办法（熟悉深度抓取，动态数据获取，模拟登录、代理等技术）；

（4）熟练使用一种以上编程语言，如Python、Java、Scala、Golang；

通用能力：

（1）思路清晰，具备良好的沟通能力和快速解决问题的能力；

（2）具备良好的学习能力与抗压能力