岗位描述
负责大规模代码数据的获取、治理和质量建设,为模型 Coding 能力构建提供数据基础。你将深入理解开源软件生态和真实开发流程,构建覆盖代码、文档、Issue、Commit、Code Review、测试等多个维度的训练数据体系,帮助模型学习真实的软件开发行为。
岗位职责
挖掘和维护高价值代码数据来源(如 GitHub、网页等),建立覆盖不同语言、框架和开发场景的代码数据体系。
分析开源仓库质量,识别 AI Generated Code、低质量代码仓库以及其他可能影响训练效果的噪声数据。
设计去重、过滤、质量评估和数据治理策略,持续提升代码数据质量和训练价值。
研究数据污染、Benchmark Leakage 等问题,建立相应检测机制并降低评测失真风险。
分析代码数据与模型 Coding 能力之间的关系,为数据建设和训练策略优化提供依据。
任职要求
熟练掌握 Python,工程能力优异。
至少熟悉一种额外主流编程语言(C++、Java、Go、TypeScript、C# 等)。
熟悉软件开发流程和现代工程实践。
熟悉 Git 生态和开源软件协作模式。
对大模型 Coding 能力建设具有浓厚兴趣。