大数据爬虫工程师

工作职责
1、遵循robots协议，爬取互联网上允许爬虫采集的公开信息；
2、参与爬虫平台架构设计与基础建设，维护爬取及数据处理任务，保障各类渠道数据的稳定性与正确性；
3、攻克各种爬虫技术难关，提升爬虫平台效果与性能；
4、支持其他的业务数据采集、渠道接入及系统维护等需求。

任职要求
1、本科及以上学历，计算机科学与技术专业优先；
2、熟悉 Python，熟悉主流爬虫技术方案；具备良好的前端分析能力；熟悉常用中间件如Kafka、Redis等；
3、善于分析和解决问题，勇于面对各类挑战；
4、有良好的沟通协调能力，能承受一定压力，工作主动性强，责任心强。