岗位描述
【岗位职责】
设计和构建大模型评测方法、系统和infra,重点面向coding agent和自动化办公场景;
深度挖掘大模型在复杂任务、长尾场景中的能力弱点,设计并构建具有可扩展性的自动化评测方案及高质量数据集;
参与 long-horizon agent 类任务的评测方法建设,建立能够真实反映模型专业能力的评估体系;
构建自动化评分机制,建模专业领域判断标准与人类偏好,准确评测出模型的综合表现;
能够基于评测分析报告,定位模型能力短板,推动评测、数据、训练之间形成闭环,持续提升模型的能力上限。
【任职资格】
1. 27届毕业,统招硕士及以上学历(优秀者本科亦可),计算机相关专业,有较强的算法和工程能力;
2. 熟练掌握 Python 语言及 PyTorch 深度学习框架,熟悉 Agent 基本原理;
3. 熟悉Transformer架构和大语言模型原理;
4. 具备良好的沟通能力、跨团队协作能力,能与非技术的行业专家沟通协作。
【加分项】
1. 有构建公开或内部 Benchmark 的完整经验,能阐述任务设计与评判方式背后的思路;
2. 熟悉主流 agent harness(Claude Code、Codex 等);
3. 有半年以上深度使用 AI Agent 类产品完成真实专业工作的经历,对其在长任务中的行为特征有切身体感;
4. 有高水平论文、开源项目或竞赛成果。
【智谱星计划】
我们在寻找和招募对科学研究、创新技术有热情和潜力的全球顶尖技术人才。如果你在学术、竞赛、工程实践任一方面有突出表现,如果你想与权威科学家、世界一流技术人才共同挑战突破性的前沿技术,引领人工智能创新变革,就来成为“智谱星”吧!
- 权威Mentor带教,飞速成长
- 极具竞争力的智谱星薪酬体系
- 探索技术边界、冲刺SOTA榜单
- 与全球最优秀的AI人才共事