锦鲤求职岗位描述
岗位职责
1、遵循robots协议，采集互联网上允许搜索爬虫采集的公开非敏感信息，满足大模型、电商、本地等公司核心业务数据需求；
2、负责分布式采集系统的建设与迭代优化，负责数据调度、采集、数据结构化、持久化全链路核心流程迭代升级；
3、帮助团队攻克各种采集技术难关，提升系统的采集效果与效率。
岗位要求
1、 本科及以上学历，计算机相关专业，对大数据和采集相关技术有浓厚的兴趣；
2、熟悉Java、Python等语言，具备扎实的编码能力；熟悉主流采集技术及框架工具，如Frida、Puppeteer、Scrapy等；
3、熟悉常见反爬封禁策略，并具备相关的实战经验。
加分项：逆向、混淆、脱壳、分布式、大模型、数据挖掘。