岗位描述
工作內容
【職務內容】
1.在Hadoop架構的資料倉儲(Data Warehouse)上建立具備擴充性與高可靠性的資料產品,為數據科學家與業務團隊提供穩健的資料基礎。
2.與數據科學家和業務分析團隊合作,理解需求並提供適用的資料解決方案。
3.設計並構建可擴展、高效的資料產品和資料管線 (ETL/ELT)。
4.設計並實作資料品質驗證與監控機制,確保資料正確性。
5.規劃並實施資料管線的持續交付流程 (CI/CD),提升自動化與開發效率。
6.參與資料架構設計,提出技術改進與最佳實踐建議。
7.撰寫並維護資料流程文件,確保資料資產可追溯且易於維護。
8.採用Scrum管理流程,跟不同專案小組(Scrum team)進行溝通及合作。
9.參與機器學習模型、數據特徵庫、產品推薦系統、大型語言模型(LLM)、自主數據分析平台等專案小組(視職能及個人興趣進行安排)。
其他條件
【必備條件】
1.具備資料管線開發與資料建模經驗。
2.熟練使用 Python、SQL程式語言。
3.熟悉 Spark 及Hadoop 生態系 (HDFS, Hive, Yarn, HBase 等)。
4.熟悉資料模型設計 (Star Schema, Snowflake Schema 等)。
5.有設計ETL/ELT 流程並管理資料產品生命週期的經驗。
6.熟悉資料驗證及CI/CD 流程設計 。
7.有資料流程排程工具經驗 (如 Airflow、Luigi 等)。
8.具備SQL資料庫設計與查詢優化能力。
學歷要求
大學以上
科系要求
不拘
工作經驗
2年以上
語文條件
英文:聽/略懂、說/略懂、讀/略懂、寫/中等
出差外派
出差/不需出差
外派/不需外派
管理責任
不需負擔管理責任
上班時段
日班
休假制度
週休二日
薪資待遇
面議