锦鲤求职岗位描述
岗位职责
构建面向大模型与多模态模型的下一代 AI 数据基础设施，负责 DataFlow 方向，打造从多源原始数据到高质量训练、评测、推理数据集的端到端数据流水线，支撑预训练、SFT、RLHF、评测等核心业务场景；
打造高吞吐、低成本、可扩展的分布式数据流水线系统框架，支持文本、代码、图像、音频、视频及多模态数据；
建设数据质量与治理体系：质量指标、规则引擎、抽样评估、异常检测、去重策略、PII 与安全合规；
与算法、训练、标注、平台团队紧密协作，将模型数据需求转化为工程方案，持续提升数据迭代效率；
跟踪 LLM Data Engineering、数据合成与多模态处理前沿实践，推动工具链平台化。
任职要求
本科及以上学历，计算机、软件工程、数学、统计等相关专业；
精通Python，熟悉C++，具备大规模数据处理经验；
熟练掌握至少一种分布式数据处理框架：Ray、Spark、Flink、Daft 等，具备构建高效数据流水线的经验，能定位并解决数据瓶颈；
熟悉Airflow/ Dagster / Prefect / Argo Workflows 等常见工作流编排框架；了解PythonTorch DataLoader、Arrow、Parquet等数据格式与加载工具；
具备良好的沟通协作能力与 Owner 意识，能在快速迭代环境中推进复杂项目
加分项
有 LLM 数据工程经验：预训练语料、SFT、RLHF、合成数据、数据配比、评测集构建；
熟悉多模态数据处理：文档解析、图像/视频/音频处理、OCR、ASR、Embedding；
有向量数据库、数据流水线搭建、特征平台或 MLOps/DataOps 经验；
有开源贡献、技术博客、专利或大规模平台落地案例