锦鲤求职岗位描述
岗位职责
1、负责构建并完善大模型评测体系，包括评测标准制定，评测工具链开发及前沿评测技术研究；
2、基于业务需求设计评测方案，开展多维度模型评估，输出专业评测报告；
3、参与大模型/Agent等技术在垂直领域的算法工程化实现及性能评估研究；
4、聚焦前沿评测技术研究，跟踪学术与工业界动态，探索 Agent 等复杂场景评测方法。
岗位要求
1、计算机科学/人工智能等相关专业本科及以上学历；
2、精通Python编程，熟练掌握PyTorch/TensorFlow等深度学习框架；
3、熟悉主流语言大模型技术架构和性能分析，具备SFT、RLHF、PE、RAG、Agent等实践经验；
4、掌握大模型评测方法论，具备构建Benchmark和评测平台的实践，了解各类主流评测技术及其局限；
5、具备 Agent 动态评测环境（Sandbox/Simulation）搭建能力，能够制定工具调用与长链路推理的量化评估方法。
6、具备出色的数据洞察能力，擅长从 Bad Case 分析定位模型短板；
7、具备优秀的问题分析与解决能力，责任心强，具有良好的团队协作精神。