大数据开发工程师

岗位职责
1、负责大规模网络数据采集系统的架构设计与开发，保障数据采集的稳定性与时效性；
2、负责面向外部互联网数据与内部业务数据的数仓体系构建，参与 ODS/DWD/DWS/ADS 层的数据建模、清洗转化与规范治理。
3、负责 Spark on K8s 批流计算任务的开发与性能调优，支撑海量非结构化/半结构化采集数据的解析与指标计算

岗位要求
1、本科以上学历，3年以上工作经验；
2、熟悉常见抓包与调试工具（Charles、Fiddler、Wireshark 等）及自动化工具（Selenium、Playwright、Puppeteer）
3、熟悉主流爬虫框架（Scrapy/Feapder 等），具备 IP 代理池调度、分布式爬虫架构设计及反爬对抗经验
4、熟悉 spark on k8s, 大数据平台组件，有两年以上实际项目经验；对 Spark 的核心原理（如 RDD、DataFrame/Dataset、Catalyst 优化器、内存管理、Shuffle 机制）有深入理解
5、熟悉 Kubernetes 的核心概念（Pod, Deployment, Service, PVC/PV 等），具备 Spark on Kubernetes 的部署、配置、运维和问题排查经验。
6、了解并具备使用主流 AI大模型工具进行数据处理、增强、质量校验或代码生成的经验；有将 LLM 集成到数据工作流中的实践经验者优先
7、良好的学习能力、沟通能力、适应能力、责任心强，能在压力下独立解决问题，具有主人翁精神。

福利待遇
五险一金、节假日福利、带薪年假、定期体检、团建聚餐