视频数据工程师

岗位职责
工作职责:
1、训练数据预处理与自动化数据处理框架搭建;
2、框架性能优化;
3、数据集管理规范建立、版本化治理;
4、自动化数据洞察流程与可视化看板。
岗位要求:
1、海内外名校全日制本科及以上学历,计算机、数学、电子
信息等相关专业。
2、Ray框架深度掌握:Ray Core运行机制,Ray Data
streaming execution / operator fusion / backpressure;
3、data-juicer二次开发:算子抽象与Ray后端调度链路,有
改过算子或框架的实际案例;
4、多模态/视频数据处理:ffmpeg/PyAV/decord/
torchcodec,关键帧提取、镜头切分;
5、数据治理:PB级数据组织与治理,熟悉Lance/Parquet/
WebDataset等格式,用过数据版本化工具。
加分项:
1、有PB级数据管线的生产运维经验;
2、有Ray或类似分布式框架的开源贡献;
3、搭过数据看板(Superset/Metabase/Grafana/自研);
4、做过Schema演进或数据血缘追踪。