锦鲤求职岗位描述
岗位职责：
1.负责设计、开发并维护实时/批量数据管道，完成从多种数据源的数据抽取、清洗、转换和加载工作；
2.负责数据仓库、数据湖及数据平台的搭建与优化，设计并开发数据模型与数据集市；
3.负责建立数据质量监控体系，制定质量检核规则；负责数据任务的日常运维、性能调优与故障排查；
4.负责在数据开发全流程中落实数据安全管理要求；
5.配合算法工程师完成AI/机器学习训练数据的准备、清洗、标注和特征工程工作。
岗位要求：
1、研究生及以上学历，硕士及以上学位；
2、专业要求：0835软件工程、0812计算机科学与技术、0810信息与通信工程、0839网络空间安全、0854电子信息、0714统计学、1405智能科学与技术；
3、1.熟练掌握SQL和Python，具备使用Pandas/NumPy等工具进行数据清洗和加工的能力，了解常用数据采集技术（如Flume、DataX、Canal等）；
2.熟悉数据仓库架构和数仓分层设计，理解ETL与ELT的适用场景差异，掌握数据质量评估方法；
3.了解大数据生态组件，熟悉HDFS、Hive、Kafka等基础组件。