锦鲤求职岗位描述
岗位职责
团队介绍：抖音电商以“总能发现好东西”为主张，致力于成为用户发现丰富好物的首选平台。众多抖音创作者通过短视频、直播、商城等丰富的形式，给用户提供更个性化、更生动、更高效的消费体验。同时，抖音电商积极引入优质合作伙伴，为商家变现提供多元的选择。
1、负责基于大模型的电商商品类目预测能力的评测体系设计与落地，建立系统、可复现的评测方案（含离线评测、负面案例归因、线上效果验证），客观评估模型能力、驱动优化，提升类目准确率与平台治理效率；
2、制定评测标准与评测数据集建设：
1）针对类目预测与判准的各环节及最终结果，明确“评测做得好”的量化口径，建立分维度、可量化的评测标准与指标体系（模型准确率、问题识别准/召、人机一致率等）；
2）基于线上真实商品样本设计评测集，制定类目标注规范，保证样本分布合理，并建立动态扩充与质检机制；
3、评测任务规划与产品化落地：
1）围绕业务目标拆解评测任务（如新发预测、存量回扫、模型版本迭代），确定评测范围、优先级与频次，统筹标注与研发资源、跟进排期，制定评测计划；
2）把评测标准转化为可执行的评测流程和工具，接入模型发版/迭代节奏（评测工作台、自动化跑分、规则知识库），让评测规模化、自动化跑起来；
4、案例库诊断平台与规则知识库建设：
1）建设并迭代类目预测负面案例库与诊断平台，对线上负面案例做归因聚类、问题定位（定位到环节/模型/规则/标注），跑通“发现—诊断—归因—反哺”闭环；
2）沉淀类目定义、治理规则与基于案例的补充细则，建设并运营类目规则知识库（规则定义库、案例库等），打通“评测发现—规则沉淀—模型消费”线上化链路，推动规则统一对齐与敏捷迭代；
5、效果迭代：以评测为突破口，与算法、产品、类目运营协作，推动线上类目预测准确率、错放占比、商家申诉率等核心指标持续改善，对类目准确性与平台风险负责。
岗位要求
1、相关领域模型评测经验：硕士学位及以上，计算机、数学、统计学等相关专业优先；有文本分类方向的评测实操经验，做过评测体系、评测平台，有真实落地经验者优先；
2、方法论扎实：主观评测（人工标注、归因研判、CQC人评）与客观/自动评测（机评、指标体系、模型打分）都有hands-on，清楚各自的边界与坑；
3、产品化能力：有把评测“工程化/产品化”上线并被团队真正用起来的经历，而不只是写过评测方案；
4、理解AI能力边界并保持热情：理解大模型文本分类、信息抽取能力的适用场景、局限和典型失败模式（幻觉、长尾商品、类目混淆、标题噪声等），理解Prompt工程与模型失效模式，参与或主导过AI项目者优先；有持续兴趣，愿意亲自动手验证假设、拆解问题并推动方案落地；
5、逻辑清晰、数据敏感：能把模糊的“商品该放哪个类目”拆成结构化、可证伪的维度和标准，熟练使用SQL/Excel，用实验和指标说话；
6、协作与自驱：具备优秀的跨团队协作能力，能与算法、数据、类目运营、工程等多角色高效沟通；自驱力强，能独立规划评测体系建设，具备项目统筹与推动能力。