AI 研究员（Model Evaluation）

负责大模型评测体系建设，为模型训练、数据建设和产品迭代提供可靠决策依据。我们关注的不仅是 Benchmark 分数本身，更关注评测结果与模型真实能力之间的关系，以及如何通过科学评测发现模型短板、预测能力变化并指导训练方向。

岗位职责

设计和维护覆盖预训练能力维度的内部评测体系，持续提升评测结果的可靠性、稳定性与解释能力。

构建高质量 Benchmark 和自动化评测流程，研究评测结果与模型真实能力之间的关系，识别现有评测体系中的盲区与失真现象。

分析模型在不同能力维度上的表现和失败案例，建立系统化能力画像，帮助团队理解模型的优势、短板及能力边界。

研究训练过程中的早期信号和代理指标，探索能够预测最终模型表现的评测方法，提高模型研发迭代效率。

任职要求

计算机、人工智能、数学、统计学或相关专业背景。

具备扎实的数据分析能力和实验设计能力。

熟练使用 Python 进行数据处理和实验分析。

能够独立完成实验设计、结果分析和结论输出。

对模型评测、能力建模或大模型行为分析具有浓厚兴趣。