研发工程师

岗位职责
职位描述
【岗位职责】
1. 负责跨境电商平台（Shopify、Amazon、TikTok Shop 等）数据的采集、清洗和入仓工作，通过 REST API / SDK 等方式完成数据接入；
2. 参与数据仓库的架构设计和分层建设，建设标准的数据模型，支撑业务系统BI 报表的数据需求；
3. 负责实时数仓的建设，使用 Flink + Kafka + Paimon 实现数据的实时采集、处理与存储；
4. 使用 StarRocks 等 OLAP 引擎建设高性能数据服务层，优化复杂查询性能；
5. 负责数据质量保障，建立数据一致性、完整性、及时性的监控和告警体系；
6. 参与数据治理工作，维护数据字典、数据血缘和数据地图，提升数据资产价值。

岗位要求
【任职要求】
1. 本科及以上学历，计算机、数学、统计学等相关专业，3 年以上数据开发或数据仓库相关经验；
2. 精通 Python，具备良好的编码习惯，熟练使用 spark/flink进行数据处理；
3. 精通 SQL，能够编写复杂的查询语句并具备丰富的 SQL 性能调优经验；
4. 熟悉大数据计算框架，至少熟练使用 Flink / Spark 中的一种（实时或离线方向）；
5. 熟悉数据湖技术，了解 Paimon / Iceberg / Hudi 中的至少一种；
6. 熟悉 OLAP 引擎，了解 StarRocks / Doris 中的至少一种；
7. 熟悉常见的调度工具，如 DolphinScheduler ；
8. 有 REST API 数据采集经验，了解 OAuth / JWT 等认证机制。
【加分项】
* 有跨境电商行业经验，熟悉 Shopify、Amazon SP-API、eBay API 等平台数据接口；
* 有实时数仓（Flink + Kafka + Paimon）实际落地经验；
* 有数据质量、数据治理、数据资产管理相关经验；
* 有云平台（AWS/阿里云/腾讯云）数据服务使用经验；
* 有 BI 工具（Tableau / PowerBI / Superset/finebi）使用经验。
【技术栈参考】
Python/java / SQL / Flink / Spark / Kafka / Paimon / StarRocks / DolphinScheduler