Wan-Animate

模型概述

Wan2.2-Animate-14B是Wan系列视频生成模型的一部分，由Wan-AI团队发布。根据官网介绍，该模型是一个用于角色动画和替换的统一模型，能够实现整体动作和表情的复制。模型权重和推理代码已公开发布，用户可以在wan.video、ModelScope Studio或HuggingFace Space上试用。

主要功能

Wan-Animate-14B接受视频和角色图像作为输入，并生成视频，支持两种模式：

• 动画模式（animation mode）：模型生成角色图像的视频，模仿输入视频中的人类动作。
• 替换模式（replacement mode）：模型将输入视频中的角色替换为角色图像。

技术特性

Wan2.2系列模型引入了多项技术创新，包括：

• 有效的MoE架构：Wan2.2将混合专家（MoE）架构引入视频扩散模型，通过分离不同时间步的去噪过程，使用专门的专家模型，在保持计算成本不变的情况下扩大模型容量。
• 电影级美学：Wan2.2整合了精心策划的美学数据，包含光照、构图、对比度、色调等详细标签，支持更精确和可控的电影风格生成。
• 复杂运动生成：与Wan2.1相比，Wan2.2在显著更大的数据上训练，图像数据增加65.6%，视频数据增加83.2%，增强了模型在运动、语义和美学等多个维度上的泛化能力。
• 高效高清混合TI2V：Wan2.2开源了5B模型，采用先进的Wan2.2-VAE，压缩比达到16×16×4，支持720P分辨率、24fps的文本到视频和图像到视频生成，可在消费级显卡（如4090）上运行。

使用方式

用户可以通过Hugging Face Diffusers库使用该模型，示例代码如下：

pip install -U diffusers transformers accelerate
import torch
from diffusers import DiffusionPipeline
pipe = DiffusionPipeline.from_pretrained(“Wan-AI/Wan2.2-Animate-14B”, dtype=torch.bfloat16, device_map=”cuda”)
prompt = “Astronaut in a jungle, cold color palette, muted colors, detailed, 8k”
image = pipe(prompt).images[0]

此外，用户也可以从GitHub克隆Wan2.2仓库，按照说明安装依赖并下载模型权重，然后运行推理脚本。模型支持单GPU和多GPU推理，多GPU推理使用FSDP和DeepSpeed Ulysses。

社区与生态

Wan2.2已集成到多个社区项目中，包括：

• DiffSynth-Studio提供对Wan 2.2的全面支持，包括低GPU内存逐层卸载、FP8量化、序列并行、LoRA训练和全量训练。
• Kijai的ComfyUI WanVideoWrapper是Wan模型的替代实现，专注于Wan模型，提供前沿优化和研究特性。
• Cache-dit为Wan2.2 MoE提供完全缓存加速支持，包括DBCache、TaylorSeer和Cache CFG。
• FastVideo包含蒸馏的Wan模型，使用稀疏注意力显著加速推理时间。

许可与引用

该仓库中的模型根据Apache 2.0许可证发布。团队声明对用户生成的内容不主张任何权利，但用户需确保使用符合许可证规定，不得分享违反法律、伤害个人或群体、传播有害个人信息、散布错误信息或针对弱势群体的内容。

如果用户的研究或项目基于Wan2.1或Wan2.2，可以引用相关论文：Wan: Open and Advanced Large-Scale Video Generative Models（arXiv:2503.20314）。