LLM Pretrain算法研究员-基模

工作职责
1. 专研训练框架，快速定位训练中出现的问题，分析训练过程中的模型表现，跟infra team合作来保证训练策略的正确性
2. 紧跟领域前沿技术，研究新型LLM模型架构，提升训练或推理的计算效率和模型性能
3. 研究不同架构、数据、目标函数和优化方法等各个算法方面的scaling law，总结出高效稳定的预训练策略
4. 拓展模型在长文本理解和生成的能力

任职要求
1. 计算机科学、人工智能或相关领域的硕士或博士学历
2. 在自然语言处理、大语言模型研究或机器学习领域中具有相关研究经验
3. 具备扎实的代码与算法基础，熟练掌握PyTorch等深度学习框架
4. 具备有效的沟通和协作技能，对探索新技术和推动技术创新充满热情

加分项
1. 在NeurIPS/ICML/ACL/EMNLP等顶级会议上发表过高引论文
2. 在ACM/ICPC，NOI/IOI，TopCoder等编程竞赛上有获奖
3. 具有大规模训练大模型经历，了解分布式训练框架及对应的性能调优和资源管理
4. 对不同LLM模型结构（如MoE，sparse attention等）有过深入理解和分析，有发表过论文探索模型结构更佳