AIGC多模态数据算法工程师

岗位内容
1．数据处理框架构建： 负责基于Ray分布式框架设计和开发大规模视频/图文数据的处理流程，实现高效的数据清洗、过滤、去重及内容理解，支撑PB级数据的处理需求。
2. 数据资产管理： 负责设计并维护内部数据集的组织架构与元数据管理方案，利用数据库（如MySQL、MongoDB或向量数据库）对数据集版本、标签及样本信息进行结构化存储与高效检索。
3. 数据打包与加速： 负责基于WebDataset等格式对海量训练数据进行标准化打包与存储优化，减少小文件读写瓶颈，提升数据IO效率及训练中的数据加载速度。
4. 视频读取链路优化： 负责解决多模态训练中的视频读取难题，包括但不限于视频解码加速、关键帧随机访问、分布式数据预加载等，保障训练集群中GPU的利用率。
5. 全链路Pipeline建设： 负责从原始数据源到训练输入的完整数据链路的构建与维护，打通数据处理、存储、读取各环节，保障数据流的高效、稳定与可复现

岗位要求
1.本科及以上学历，计算机、软件工程、电子信息等相关专业优先。
2.数据处理能力： 熟练掌握Python，具备扎实的分布式数据处理经验；熟悉Ray、PySpark等分布式计算框架，有实际的大规模数据清洗、处理工程项目经验。
3.数据库与存储： 熟悉关系型数据库或NoSQL数据库的使用与设计，具备数据建模能力；了解WebDataset、TFRecord、HDF5等大规模数据存储格式的原理与实践。
4.多模态与视频理解： 熟悉常见视频/图像处理库（如OpenCV、Decord、PyAV、FFmpeg），对视频解码原理、关键帧抽取、分布式视频读取加速有深入理解和实战经验。
5.工程素养： 具备良好的编码习惯和工程化思维，熟悉Linux环境开发，有Docker、Kubernetes使用经验者优先；对数据敏感，具备数据质量控制意识。
6.加分项： 有大模型/多模态模型训练中的数据基建经验者优先；有构建千亿级多模态数据集经验者优先；熟悉PyTorch数据加载模块（DataLoader）及自定义优化者优先。