岗位描述
岗位职责:
1.参与大模型评测与技术方案架构评审,根据实际需求制定合适的测试计划和方案设计。
2.负责语音/NLP/CV/LLM的评测,构建多维度评测集,参与小语种翻译的评测,能独立完成并高质量交付项目测试。
3.针对多模态AI应用的复杂性,分析并梳理各应用场景以及各评测指标,确保整体链路功能正常。
4.参与搭建并完善测试质量体系,构建标准化评测流程,持续优化算法及模型的评测效率。建立算法评测质量防护体系,包括评测数据集构建,指标体系设计(准确率/召回率/鲁棒性/推理延迟/稳定性等),评测报告输出。
5.与算法、工程团队协同,持续改进并推动自动化评测工具链的建设。
6.自驱力强,习惯主动发现问题、主动学习沉淀经验。
任职资格:
1.本科及以上学历,计算机、人工智能等相关专业,1年及以上AI应用复杂系统测试或开发经验。
2.熟悉AI类产品(NLP、ASR、TTS、对话系统、生成式AI、智能助手等)的核心逻辑及业务痛点,具备测试方案设计和用例场景设计的能力。
3.具备良好的沟通协调能力与整体质量意识,工作严谨负责,能高效跨团队协同推进工作。
4.认真负责,具备较强的抗压能力。有技术热情,具备持续学习能力,持续关注AI领域新技术与测试方法迭代,并能尝试用在实际工作中。
5.熟悉大模型评测的实际流程与落地,可以协同多方相关团队高效完成评测工作,定期监控模型效果并完善质量体系。
6.熟练掌握Go、Python、Java、Shell任意一种脚本开发语言,能独立完成自动化测试脚本的开发、评测工具链的搭建和数据处理流水线;
加分项
1.有智能音箱、智能耳机、翻译类等相关品类的测试经验。
2.有AI自动化评测体系、测试平台建设经验。
3.有AI对话、文生图、Agent、企业知识库RAG等AI Native产品测试经验。
4.熟悉向量数据库、Prompt优化、大模型微调或AI内容安全测试者优先。