岗位描述
负责 AIGC 多模态生成能力(图像、音频、视频)的算法选型、模型调训、流程搭建与工程化落地,支撑营销、电商、车机内容、企业内部工具等业务场景。
负责文生图/图生图、文生音频/TTS/音频、文生视频/图生视频的全链路 Pipeline 开发,包括数据处理、模型训练/调训、推理优化与效果评测。
基于 Stable Diffusion/Diffusers、ControlNet、LoRA、ComfyUI 等生态搭建可控生成工作流,解决角色/商品一致性、姿态控制、局部蒙绘、风格迁移等业务问题。
负责生成模型的推理部署与性能优化(显存、时延、吞吐、并发),支持云端部署、车端部署。
建立生成质量评估体系(自动化指标+人工评测+业务指标),持续迭代 bad case 闭环。
跟进 AIGC 前沿(视频生成、语音克隆、音频生成、多模态大模型、Agent 工作流),完成技术预研与可行性验证。
技术要求:以下三个方向(图像、音频、视频),精通其一。
? 各方向技术要求
(1)图像生成
主流模型:Stable Diffusion 1.5/XL/3、FLUX、SDXL Turbo/LCM 等,理解 VAE、UNet/DIT、Text Encoder、Scheduler 等核心组件及完整推理链路。
可控生成:ControlNet(OpenPose/Canny/Depth 等)、IP-Adapter、Inpainting、LoRA/QLoRA/DreamBooth 部署。
配套能力:SAM/rembg 分割抠图、人脸与身份保持(InstantID/PhotoMaker 类)、放大修复(ESRGAN/Ultimate SD Upscale)。
工具链:ComfyUI、Automatic1111、Diffusers、kohya-ss、PEFT;推理框架 LLM(多模态)、TensorRT、ONNX。
(2)音频生成
语言合成 TTS:理解声学模型+声码器架构,熟悉 VITS、ChatTTS、CozeVoice、FS-TTS、GPT-SoVITS 等开源方案。
声克隆与多音色:少样本音色复刻、语音情感/韵律控制、多说话人建模。
音效/音乐生成:AudioLDM、Stable Audio、MusicGen 等文生音效/音乐模型。
前后处理:ASR(Whisper/FunASR),用于数据标注与对口型、音视频对齐、脚步同步(Wav2Lip/SadTalker 类)。
(3)视频生成
主流模型:了解 Wan、CogVideoX、MiniMax(Hailuo)、可灵、Sora 类 AIGC 视频模型及开源可部署方案。
• 任务类型:文生视频、图生视频、视频续写、首尾帧、运镜控制、视频转绘。
• 一致性技术:Temporal Layer / 3D VAE 原理角色与背景一致性、帧间闪烁抑制、视频超分与插帧(RIFE/EMA-VFI)。
• 配套工具:ComfyUI-AnimateDiff/VideoHelperSuite、ffmpeg、抽帧/合成/编码、字幕与音轨对齐。
加分项
1.有文生图、文生视频、文生音频等商业化产品上线落地经验。
2.有 AIGC 模型端侧部署、TensorRT、Genmie 优化加速经验。
3.有开源项目贡献、技术博客、Kaggle/生成类竞赛或相关论文。
二、任职要求
1.计算机、人工智能、电子信息等相关专业,本科3年以上/硕士1年以上算法或AIGC工程经验。
2.至少在图像、音频、视频一个方向有完整落地经验:能独立完成“数据准备→微调→推理→上线→效果迭代”闭环。
3.有 ComfyUI 工作流、AIGC 数字人、短视频批量生产等实际项目经验者优先。
4.动手能力强,对新模型工具有强烈尝鲜意愿,能快速完成从论文/开源仓库到业务 Demo 的上线。
5.具备良好的工程落地能力与业务思维,能够独立完成技术选型、模型优化、功能迭代、线上复盘,代码规范,善于沉淀技术文档与工具链。