岗位描述
岗位职责
1、视频/多模态/3D-4D encoder 的架构设计与训练;
2、JEPA / DINO 类自监督表示学习方法的改进与落地;
3、负责视频 VAE 的训练与改进,开展时空压缩率调整、潜在空间设计、语义增强及编码器/解码器架构优化,提升重建质量、时序一致性和计算效率;
4、设计 encoder 表征及视频 VAE latent 与下游世界模型的对接方案,通过对照实验评估表征改进对模型训练效率、生成质量和预测能力的影响
岗位要求
必备技能:
1、有视频或多模态 encoder 研究经验,熟悉 ViT / VideoMAE / TimeSformer / 3D-ViT 等架构;
2、深度理解自监督表示学习方法(JEPA / DINO / MAE / BEiT),能分析不同预训练目标对下游任务的影响;
3、有视频 VAE 或相关视频自编码器的训练、微调或改进经验,理解重建损失、KL 正则、感知损失等训练目标,能够分析时空压缩率、latent 维度和模型架构对重建质量及训练稳定性的影响;
4、有中等规模模型(≥ 数亿参数)的独立训练经验,能诊断 loss 异常和表征退化;
5、熟悉PyTorch,做过从问题定义到实验验证的完整研究闭环。
加分项
1、有视频 VAE 时空压缩率调整、语义增强或模型架构优化的实际项目经验,例如通过特征对齐、知识蒸馏或辅助训练目标增强 latent 表征,并完成重建质量、时序一致性及下游模型效果的对照验证;
2、有 V-JEPA / V-JEPA2 / DINOv2 的复现或二次开发经验;
3、做过 3D/4D 表征学习(点云 / NeRF feature / 4D occupancy);
4、有顶会一作论文(CVPR / ICCV / NeurIPS / ICML / ICLR)。