锦鲤求职岗位描述
工作职责:
开发和维护视频、图像、音频等多模态数据处理管线。
接入新数据源，编写批量处理、增量入库脚本，负责数据清洗、去重和校验。
参与分布式任务性能调优，维护任务监控、日志和告警。
工作要求:
计算机、软件工程、数据科学等相关专业本科及以上在读；每周至少到岗 4 天，实习 6 个月以上优先。
有分布式计算或大规模数据处理经验，熟悉 Ray、Spark、Flink 中至少一种，Ray 优先。
熟悉 AI Coding，具备良好的开发、调试和工程习惯。
使用过 S3、OSS、MinIO 等对象存储，了解高并发场景下的限流、重试和连接池管理。
理解任务拆分与调度、并发和资源配置、数据倾斜、背压、失败重试和断点续跑等基本问题。
能结合日志、指标和数据定位问题，并给出有依据的分析结论。
加分项
在大规模 Ray 集群上进行过任务调优，并有处理耗时、吞吐量、资源利用率或失败率等方面的量化结果。
处理过亿级、TB 级或 PB 级数据。
有视频、图像、音频处理或数据质量建设经验。