小红书-【REDstar】大模型轻量化算法方向

2013年，小红书在上海创立。在小红书上，用户通过图文、视频、直播等形式记录生活，分享生活方式，并基于兴趣互动形成社区。1、量化方向：负责但不限于大语言模型的低精度训练(FP8)、推理（W8A8KV8等）、低精度优化器（量化梯度、优化器状态、参数等）；

2、高性能模型结构：大语言模型Finetune或者其他阶段的LoRA系列（熟悉各种变种），训练阶段的MQA/GQA系列等；

3、稀疏化方向：大语言模型剪枝、稀疏、蒸馏、Sparse Attention等；

4、新型方向：Medusa、超长文本、Speculative Sampling等。1、统招本科及以上学历，计算机等相关专业优先；

2、拥有上述一个或多个方向的实际落地经验，能独立从头到尾完成上述某个方向；

2、熟练使用主流大规模训练或推理引擎开发，例如DeepSpeed/Megatron/Transformer Engine等；

3、具备实际Cuda算子开发经验者和工程能力较强者优先。