锦鲤求职岗位描述
岗位职责
1、评测体系构建：参与设计并执行文本、多模态大模型及智能体的评测框架设计，构建覆盖多场景的评测基准（Benchmark），并持续优化评测流程的效率与可靠性。
2、技术探索与集成：跟踪学术界与工业界的最新大模型及智能体评测方法与评测 benchmark，快速将其集成到现有平台。
3、评测结果分析：与大模型算法团队紧密协作，从评测结果中分析模型及智能体能力瓶颈，用于公开榜单与内部模型能力迭代。
4、跟踪AI领域前沿技术，团队协作，完成算法评测相关科研任务。
岗位要求
1、计算机、人工智能或相关专业研究生，具备算法理论基础。
2、具备丰富的大模型或 Agent 算法评测经验，熟悉其相关评测方法。
3、熟悉Python、GIt 等开发工具，了解 LLM、MLLM、Agent 部署等，了解自动化测试流程，了解容器化、沙盒、网络通信等。
4、在ACM/ICPC、Kaggle等编程或算法竞赛中获奖，或有开源项目贡献经验者优先。
5、在ICLR、ICML、NeurIPS、ACL等顶会顶刊发表过论文者优先。