岗位描述
岗位描述
我们正在开展大模型递归自我改进(Recursive Self-Improvement,RSI)研究,关注模型如何利用任务反馈,自主生成和筛选数据、改进解题策略,并通过多轮训练持续提升能力。我们希望探索的不只是单次训练带来的提升,还包括模型能否参与改进自身的学习过程,以及这种改进在多轮迭代中是否有效。相关方法也将在金融、医疗领域的专业推理和复杂任务中进行验证。欢迎对模型自我改进、强化学习、合成数据或复杂推理感兴趣的同学加入。具体课题将结合你的研究兴趣和经验确定。
研究方向:
1. 模型自我改进方法研究
探索任务生成、数据筛选、自我评估、自我纠错等方法,研究如何将模型自身的输出与任务反馈转化为有效的学习信号,支持多轮迭代改进。
2. 训练与反馈机制研究
结合监督微调、强化学习、验证器等方法,设计并实现自我改进实验。分析数据质量、反馈准确性和训练策略对改进效果的影响,探索减少人工干预的方法。
3. 持续改进能力验证
建立对照实验和评测任务,检验能力提升能否延续、能否迁移到新任务,分析迭代中的错误累积、能力退化及计算开销。完成论文复现、消融实验与结果整理,参与论文撰写或开源项目。
4. 金融、医疗场景研究
围绕专业问答、文献与数据分析、复杂任务推理等问题,验证自我改进方法的实际效果,关注专业准确性、回答依据与可靠性。
岗位要求
1. 计算机、人工智能、数学、统计学、电子信息或其他相关专业在读;
2. 熟悉深度学习与 Transformer 基础,能够阅读英文论文,并实现其中的主要方法;
3. 熟练使用 Python 和 PyTorch,具备模型训练、调试和实验分析能力;
4. 在大模型训练、强化学习、合成数据、模型评测或复杂推理中,至少有一个方向的项目或研究经历;
5. 能够围绕研究问题设计实验、分析结果,有清晰的实验记录习惯,能主动与团队讨论问题;
6. 可在上海实习,原则上连续实习不少于 6 个月,每周至少到岗 4 天。
加分项:
1. 欢迎附上代表性论文、项目或代码仓库,并注明个人贡献、最早到岗时间及预计实习时长。
2. 有模型自我改进、自训练、自我纠错或持续学习相关研究经验;有合成数据生成与筛选、奖励建模、验证器或强化学习训练经验;
3. 熟悉大模型训练与推理工具,有分布式训练或实验效率优化经验;
4. 有数据集或评测基准建设经验,能够针对具体任务设计合理的评估方法。;
5. 有金融、医疗领域的研究或 AI 项目经验;
6. 有 NeurIPS、ICML、ICLR、ACL、EMNLP、COLM 等会议论文,或有代表性的开源项目成果。