锦鲤求职岗位描述
工作职责
1. 专研训练框架，快速定位训练中出现的问题，分析训练过程中的模型表现，跟infra team合作来保证训练策略的正确性
2. 研究不同架构、数据、目标函数和优化方法等各个算法方面的scaling law，总结出高效稳定的预训练策略
3. 紧跟领域前沿技术，研究新型LLM模型架构，提升训练或推理的计算效率和模型性能
4. 拓展模型在长文本方向的理解和生成能力
任职要求
1. 在自然语言处理、大语言模型研究、机器学习或相关方向具有扎实积累和实践经验
2. 具备扎实的代码与算法基础，熟练掌握PyTorch等深度学习框架
3. 具备有效的沟通和协作技能，对探索新技术和推动技术创新充满热情
加分项
1. 在NeurIPS/ICML/ACL/EMNLP等顶级会议上发表过高引论文
2. 在ACM/ICPC，NOI/IOI，TopCoder等编程竞赛上有获奖
3. 具有大规模模型训练经历，了解分布式训练框架及对应的性能调优和资源管理
4. 对不同LLM模型结构（如MoE，sparse attention等）有过深入理解和分析，有发表过论文探索模型结构更佳