AI 工程师（词表迭代）

负责大模型词表的训练、验证与迭代优化工作，建设自动化词表训练与评估系统，持续提升词表质量、训练效率和工程可维护性。参与词表相关算法与系统优化，为大规模预训练提供高质量的基础文本表示能力。

岗位职责

负责词表训练、验证、发布等全流程自动化系统建设与维护。

设计和优化词表评测体系，分析词表在不同语种、领域和数据分布上的表现。

持续优化词表训练性能，提升大规模语料上的训练吞吐和资源利用效率。

挖掘分布式词表训练过程中的性能瓶颈，优化数据处理、并行计算和工程链路。

与算法团队合作，研究词表设计对数据压缩率、训练效率和模型能力的影响，持续优化词表质量。

建设词表版本管理、回归测试和自动化验证体系，保障词表迭代过程的稳定性和可追溯性。

任职要求

计算机相关专业本科及以上学历。

扎实的软件工程能力，熟练掌握 Python，并具备 C++ 或 Rust 开发经验。

熟悉 BPE 等主流词表训练算法及其原理。

理解大规模文本数据处理流程，具备较强的性能分析与问题定位能力。

加分项

具有丰富的 Rust 开发经验。

具有分布式词表训练、部署或服务化经验。

具有大规模文本数据处理和预训练数据工程经验。

具有对词表训练算法的深入研究或优化经验。