锦鲤求职岗位描述
岗位职责
岗位职责
1.负责国外主流电商平台（如 Amazon、eBay、aliexpress等）等网站数据的稳定、高效、合规采集和后台任务执行等；
2.针对目标网站的反爬策略，研发动态绕过方案，保障数据采集的持续性和成功率；
3.基于Playwright构建自动化工作流，实现从数据采集/功能操作 ；
4.有持续优化爬虫性能（速度、稳定性、资源消耗）的相关经验优先；
5.有海外电商，例如amazon，aliexpress等网站实际爬虫经验优先。
岗位要求
技术要求
1.精通 Python，熟悉面向对象编程和多线程/异步编程；
2.熟练使用主流爬虫框架，如 Scrapy、Requests、Selenium、Playwright 等；
3.有分布式爬虫系统开发经验者优先（如基于Redis、Kafka等中间件的任务调度）。
4.熟悉常见反爬机制（IP 封禁、验证码、行为检测、设备指纹等）及应对方案；
5.熟练使用 代理 IP 池、User-Agent 轮换、浏览器指纹伪装等技术；
6.熟悉 MySQL、PostgreSQL、MongoDB、Redis ，elasticsearch等数据存储的读写与优化；