大模型路由与评测工程师

工作职责
岗位介绍：
负责米哈游内部模型和 Agent 的智能路由与评测体系，通过可重复的实验判断不同模型适合处理什么任务，并在效果、成本、延迟和可用性之间形成合理的选择策略。

工作内容:
1. 建设规则路由、Embedding 语义路由和模型驱动路由，根据任务类型和模型能力选择合适的模型。
2. 建设模型能力标签、任务分类、路由策略版本和灰度实验机制，使路由结果可解释、可回滚。
3. 搭建模型及 Agent 评测数据集、评分器和回归测试，覆盖代码、工具使用、长程任务及内部业务场景。
4. 对比固定强模型、固定低成本模型和智能路由在成功率、成本、延迟、Fallback 和错路由方面的表现。
5. 分析异常评测结果，区分模型能力变化、数据问题、评分问题和评测基础设施问题。
6. 将离线评测、线上 Trace、用户反馈和生产指标用于模型选型及路由策略迭代。

任职要求
1. 熟练使用 Python，具备数据处理、实验设计和工程实现能力。
2. 熟悉大语言模型的使用方式，理解 Prompt、Embedding、工具调用和 Agent 的基本原理。
3. 能够将业务需求转化为可执行的评测任务和清晰的衡量指标。
4. 对实验结果保持严谨，能够处理样本偏差、模型波动和自动评分误差。

加分项
1. 使用过 EvalScope、Inspect AI、Langfuse、Promptfoo 或 OpenCompass。
2. 运行过 SWE-bench、Terminal-Bench、τ-bench、GAIA 等模型或 Agent 评测。
3. 有推荐、搜索、分类、在线实验或成本优化经验。