AI 研究员（Tokenizer）

Tokenizer 是基础模型的重要组成部分，它不仅决定模型如何表示和理解文本，也影响模型的训练效率、推理成本以及跨语言泛化能力。

我们希望探索下一代 Tokenizer 的设计范式，团队将围绕自研 Tokenizer、Vocabulary Scaling Law以及 Tokenizer 与模型架构协同设计等方向开展研究，持续提升基础模型的表示能力和训练效率。

岗位职责

基于海量高质量数据研发和持续优化公司的自研 Tokenizer。

研究新一代 Tokenizer 算法，探索更高效、更具泛化能力的数据表示方式。

探索 Vocabulary Scaling Law，研究词表规模、Token 粒度与模型能力之间的关系。

研究 Tokenizer 对模型训练、推理效率及下游能力的影响，建立系统性的评测方法。

探索 Tokenizer 与模型架构、训练算法的协同优化，推动 Tokenization 与 Foundation Model 的联合设计。

与数据、预训练、后训练及模型架构团队紧密合作，将研究成果应用于下一代基础模型。

任职要求

熟悉Rust者优先。

计算机、人工智能、数学或相关专业本科及以上学历。

扎实的机器学习和深度学习基础，对 LLM有深入理解。

熟悉至少一种主流 Tokenizer 或文本表示方法，如 BPE、SentencePiece、WordPiece、Unigram 等。

熟悉 Python，具有良好的算法实现和实验能力。

具备优秀的科研能力，能够独立阅读、理解并复现前沿论文。

具有良好的问题分析能力，对开放性研究问题保持好奇心。