岗位描述
负责低精度训练相关研究,重点关注 FP4 低精度计算技术在大规模模型训练中的应用。我们希望通过更高效的数值计算方案降低训练成本,同时保持模型训练稳定性和最终能力表现。
岗位职责
研究 FP4 低精度训练方案,探索其在超大规模模型训练中的可行性与性能边界。
分析低精度计算对梯度传播、参数更新和模型收敛过程的影响,研究训练稳定性背后的关键因素。
建立训练监控与诊断体系,设计能够反映数值稳定性和训练质量的核心指标。
分析训练失败案例和异常现象,定位问题根因并提出改进方案,通过实验验证其有效性。
与训练系统和基础设施团队协作,推动低精度训练方案在真实训练环境中的落地应用。
任职要求
计算机、数学、电子工程或相关专业背景。
具有 FP4、FP8、Mixed Precision Training 相关实践经验。
熟悉深度学习训练流程和主流训练框架。
具备较强的实验设计和问题分析能力。
能够独立开展研究工作并完成实验验证。