岗位描述
负责探索下一代基础模型架构,研究模型能力、训练成本和推理效率之间的平衡关系。我们关注如何突破现有架构在长文本建模、计算效率和规模扩展上的限制,探索能够支撑未来大规模智能系统的新型模型结构。
岗位职责
研究和设计新型基础模型架构,探索模型能力、训练效率与推理成本之间的最佳平衡点,并验证其在大规模训练中的可扩展性。
研究长上下文建模、高效注意力机制、记忆机制等方向,提升模型在复杂任务和超长序列场景下的能力表现。
分析模型规模、训练数据、计算资源与模型能力之间的关系,通过系统化实验理解架构设计背后的 Scaling Behavior。
设计并执行大规模训练实验,评估不同架构方案在训练稳定性、收敛效率和最终能力上的表现,并推动研究成果落地验证。
跟踪前沿研究进展,与训练、系统和基础设施团队协作,推动下一代模型架构的探索与实现。
任职要求
计算机、人工智能、数学或相关专业背景。
具备机器学习或深度学习研究经验。
具备独立开展实验和分析实验结果的能力。
能够阅读、理解并复现前沿研究工作。