锦鲤求职岗位描述
工作职责
-负责大型spider系统的核心技术研究和开发，全面覆盖各种形态、载体和来源的优质资源
-借助自然语言处理、大模型等技术，深入挖掘资源内容特征和潜在价值，迭代全网内容收录与更新策略和算法；
-以通用技术，从万亿量级网页中提取有价值的信息，对网页进行充分的结构理解
-基于数据挖掘和数据分析，对于业务方向产出精准的洞察
职位要求
-熟练使用C/C++/Python等至少一门语言，熟悉常用数据结构及算法，熟悉linux平台
-熟悉机器学习、模式识别等常用算法，有相关项目经验、有深度学习经验者优先
-有AI/大模型数据收录策略 或 搜索引擎离线策略 工作经验者优先