数据采集工程师(W05789)

岗位职责
1、负责GEO产品的数据采集系统建设，包括网页数据、搜索结果数据、AI问答结果数据等采集；
2、设计并实现稳定、高可用的数据抓取与调度系统；
3、负责反爬策略研究与对抗优化，保障数据获取稳定性；
4、建立数据清洗、去重、结构化处理流程；
5、优化采集效率与成本，提升数据质量与覆盖率；
6、与算法、产品团队协作，支持监测、舆情分析及品牌可见度分析需求。

岗位要求
1、3年以上数据采集或爬虫开发经验；
2、熟练使用Python或Java进行爬虫开发；
3、熟悉常见爬虫框架，如Scrapy、Playwright、Selenium等；
4、熟悉HTTP协议、浏览器渲染机制及常见反爬策略；
5、具备数据清洗与结构化处理能力；
6、有分布式采集或大规模数据处理经验优先。