岗位描述
岗位职责
关于岗位
我们正在面向 Physical AI 研发新一代视频与多模态生成基座模型,希望从大规模视觉、动作等多模态数据中学习物体、空间与动态变化的规律,构建兼具理解、生成和预测能力的模型,为物理世界的感知、仿真与交互提供基础能力。
该岗位聚焦基座模型本身的架构、表征、训练目标与规模化训练,重点开展预训练与持续预训练研究。我们关注生成质量,也关注模型能否理解场景、保持长时状态、预测动态变化,并将学到的能力迁移到新的场景和任务。
我们尤其重视对生成模型原理的深入理解与原创研究能力:能够分析现有方法的假设与局限,提出有价值的研究问题,通过理论分析、方法设计和训练实验推动基模创新。
欢迎在视频、图像或多模态生成方向有深入积累,希望探索下一代基础模型的研究者。你将与数据、基础设施及具身世界模型团队协作,把生成模型研究推进到服务真实物理世界的基础能力。
工作职责
根据研究专长,重点承担以下一个或多个方向,并与团队共同推进基模能力建设:
开展生成模型的理论分析与方法创新。 围绕现有模型在表示、训练和生成过程中的关键限制,提出可检验的研究假设,通过数学推导、机制分析与对照实验,设计新的模型架构、训练目标或学习方法,推动新一代视频与多模态基模研发。
研究适合动态建模的视觉表征。 探索视觉 tokenizer / VAE、视频时空压缩、连续或离散表示及潜在空间建模,在保留语义、几何与运动信息的同时降低建模成本,为长序列预测和跨场景迁移提供基础。
探索理解与生成的结合。 研究语言、图像与视频的表示对齐和特征融合,探索模型原生理解能力、多模态上下文学习及交错生成,提升语义遵循、空间关系理解和上下文利用能力。
研究长序列与流式生成。 探索因果、自回归和分块生成架构与训练方法,改善长时一致性、历史信息利用及误差累积,研究适合持续预测的高效训练与推理机制。
推进规模化预训练与数据迭代。 与数据、基础设施团队协作,开展预训练、持续预训练和消融实验,解决训练收敛、稳定性与效率问题,并通过完善数据覆盖、优化数据配比、质量分析和坏例回查提升模型能力。研究训练课程,以及模型、数据与计算规模扩展对基础能力和跨场景泛化的影响。
建立面向目标能力的评测。 围绕生成质量、语义遵循、时空一致性、动态预测与跨场景泛化开展评估,并与具身世界模型团队共同验证基模能力在物理场景中的迁移效果。
与团队共同交付基模权重(checkpoint)、可复现的架构与训练方法,以及基础能力评测结果。
岗位要求
在视频生成、图像生成、统一多模态模型或相关生成建模方向,至少具备一项深入的研究与实践经验,能够清楚说明个人在模型、训练方法或关键实验中的贡献。
具备扎实的概率统计、线性代数与优化基础,对 diffusion、Flow Matching、自回归模型等至少一类生成方法有原理层面的深入理解,能够推导关键训练目标,解释建模假设、近似条件及训练与采样机制之间的关系。
具备独立提出问题和设计方法的能力,能够从理论分析或实验现象中识别现有方法的局限,提出新的架构、表示方式、训练目标或学习算法,并清楚说明创新依据、与已有方法的区别及适用边界。
曾亲自训练、修改或调试生成模型,熟悉 Transformer、Python 和 PyTorch,能够从模型计算、梯度、特征融合与训练数据等环节定位问题。
具备生成模型大规模预训练或持续预训练的实际经验,曾在多机多卡环境中承担关键训练与调试工作,熟悉分布式训练、混合精度与显存优化,能够定位并解决训练稳定性或吞吐效率问题,并清楚说明所参与项目的模型规模、数据规模、计算规模及个人贡献。
能够将理论认识和研究假设转化为可执行、可验证的实验,建立可靠 baseline 和可复现的训练流程,通过对照与消融分析方法为何有效,区分理论结论、经验假设和实验观察。
对从视觉数据中学习动态规律、构建服务 Physical AI 的基础模型有兴趣,具备独立研究能力,愿意与数据、基础设施及应用研究团队共同解决实际问题。
加分项
在生成建模、表征学习或相关基础方法上有原创研究成果,能够展示从问题提出、原理分析到方法设计与实验验证的完整过程。
主导过视频或多模态基模的预训练、持续预训练或重要架构升级,具备从训练方案设计到完整训练与评估的经验。
具备视觉 tokenizer / VAE、时空压缩、表征学习,或多模态理解与生成结合的研究经验。
具备自回归视频、图文交错生成、多轮生成、长上下文或流式生成经验。
具备 3D/4D 生成、几何与运动建模、可控生成或物理一致性研究经验。
在训练规模扩展、分布式并行策略或数据配比方面有深入研究,取得过可验证的效率或能力提升。
有能够体现研究深度和实际贡献的论文、开源项目或模型成果。
候选人无需覆盖所有方向。我们重视在至少一条技术路线上的理论理解、原创研究与模型训练能力,以及将这些经验迁移到新一代基模研究中的潜力。