岗位描述
岗位职责
搭建公司统一的具身智能 Evaluation 体系,定义模型能力、评测标准与准入门槛;
设计并持续迭代核心 Benchmark,覆盖基础能力、复杂任务、泛化、鲁棒性与安全性;
建立 Offline / Simulation / Real-world 一体化评测体系,研究不同评测指标与真实表现之间的相关性;
建立真机数据闭环的评测机制,衡量问题发现、数据回流、训练迭代后的真实能力增益及回归风险;
建设自动化、可回归、可复现的大规模评测基础设施;
对模型能力结论负责,评测结果直接支持模型、数据、Scaling 与技术路线决策;
建立 Failure Analysis 闭环,推动评测结果反哺数据与训练;
主导公开 Benchmark、数据集及行业评测标准建设;
组建并带领评测研究与工程团队。
任职要求
有大模型、自动驾驶、机器人、Multimodal / Agent 等领域 Evaluation / Benchmark 体系建设经验;
真正理解模型与算法,能与研究团队在方法和实验层面深入讨论;
熟悉 Benchmark 设计、分布偏移、长尾场景、数据闭环、过拟合及统计显著性等核心评测问题;
有大型评测平台、仿真评测、真机闭环或公开 Benchmark 建设经验;
有较强的技术判断力、跨团队推动力和团队管理经验。
加分项
有自动驾驶闭环评测、大模型评测或机器人评测负责人经验;
有具身智能、VLA、强化学习背景;
有大规模仿真、真机数据闭环与回归评测经验;
主导过有行业影响力的 Benchmark / Dataset / Leaderboard。