Wan

Wan-2.1 del equipo Wan.

Este informe presenta Wan, una suite integral y abierta de modelos de base para video diseñada para ampliar los límites de la generación de video. Basada en el paradigma principal de transformadores de difusión, Wan logra avances significativos en las capacidades generativas mediante una serie de innovaciones, que incluyen nuestro nuevo VAE, estrategias de preentrenamiento escalables, curación de datos a gran escala y métricas de evaluación automatizadas. Estas contribuciones mejoran colectivamente el rendimiento y la versatilidad del modelo. Específicamente, Wan se caracteriza por cuatro funciones clave: Rendimiento líder: El modelo de 14B de Wan, entrenado en un vasto conjunto de datos que comprende miles de millones de imágenes y videos, demuestra las leyes de escalado de la generación de video con respecto tanto al tamaño de los datos como al del modelo. Supera consistentemente a los modelos de código abierto existentes y a las soluciones comerciales de última generación en múltiples benchmarks internos y externos, demostrando una superioridad de rendimiento clara y significativa. Integralidad: Wan ofrece dos modelos capaces, es decir, de 1.3B y 14B parámetros, para la eficiencia y la efectividad, respectivamente. También cubre múltiples aplicaciones de nivel inferior, incluyendo la generación de video a partir de imágenes, la edición de video guiada por instrucciones y la generación de video personal, abarcando hasta ocho tareas. Eficiencia de grado de consumo: El modelo de 1.3B demuestra una eficiencia de recursos excepcional, requiriendo solo 8.19 GB de VRAM, lo que lo hace compatible con una amplia gama de GPUs de grado de consumo. Apertura: Ponemos en código abierto toda la serie de Wan, incluido el código fuente y todos los modelos, con el objetivo de fomentar el crecimiento de la comunidad de generación de video. Esta apertura busca ampliar significativamente las posibilidades creativas de la producción de video en la industria y proporcionar a la academia modelos de base de video de alta calidad. Todo el código y los modelos están disponibles en esta URL https.

Puedes encontrar todos los puntos de control originales de Wan2.1 bajo la organización Wan-AI.

Los siguientes modelos de Wan son compatibles con Diffusers:

Haz clic en los modelos Wan en la barra lateral derecha para ver más ejemplos de generación de video.

Generación de texto a video

El siguiente ejemplo demuestra cómo generar un video a partir de texto optimizado para la memoria o la velocidad de inferencia.

Memoria de T2V

Velocidad de inferencia de T2V

Consulte la guía Reduce memory usage para obtener más detalles sobre las diversas técnicas de ahorro de memoria.

El modelo de texto a video Wan2.1 a continuación requiere ~13GB de VRAM.

# pip install ftfy
import torch
import numpy as np
from diffusers import AutoModel, WanPipeline
from diffusers.quantizers import PipelineQuantizationConfig
from diffusers.hooks.group_offloading import apply_group_offloading
from diffusers.utils import export_to_video, load_image
from transformers import UMT5EncoderModel

text_encoder = UMT5EncoderModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="text_encoder", dtype=torch.bfloat16)
vae = AutoModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="vae", dtype=torch.float32)
transformer = AutoModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

# group-offloading
onload_device = torch.device("cuda")
offload_device = torch.device("cpu")
apply_group_offloading(text_encoder,
    onload_device=onload_device,
    offload_device=offload_device,
    offload_type="block_level",
    num_blocks_per_group=4
)
transformer.enable_group_offload(
    onload_device=onload_device,
    offload_device=offload_device,
    offload_type="leaf_level",
    use_stream=True
)

pipeline = WanPipeline.from_pretrained(
    "Wan-AI/Wan2.1-T2V-14B-Diffusers",
    vae=vae,
    transformer=transformer,
    text_encoder=text_encoder,
    dtype=torch.bfloat16
)
pipeline.to("cuda")  # or "mps", "xpu", "cpu"

prompt = """
The camera rushes from far to near in a low-angle shot,
revealing a white ferret on a log. It plays, leaps into the water, and emerges, as the camera zooms in
for a close-up. Water splashes berry bushes nearby, while moss, snow, and leaves blanket the ground.
Birch trees and a light blue sky frame the scene, with ferns in the foreground. Side lighting casts dynamic
shadows and warm highlights. Medium composition, front view, low angle, with depth of field.
"""
negative_prompt = """
Bright tones, overexposed, static, blurred details, subtitles, style, works, paintings, images, static, overall gray, worst quality,
low quality, JPEG compression residue, ugly, incomplete, extra fingers, poorly drawn hands, poorly drawn faces, deformed, disfigured,
misshapen limbs, fused fingers, still picture, messy background, three legs, many people in the background, walking backwards
"""

output = pipeline(
    prompt=prompt,
    negative_prompt=negative_prompt,
    num_frames=81,
    guidance_scale=5.0,
).frames[0]
export_to_video(output, "output.mp4", fps=16)

Compilation es lento la primera vez, pero las llamadas posteriores al pipeline son más rápidas. Caching también puede acelerar la inferencia al almacenar y reutilizar salidas intermedias.

# pip install ftfy
import torch
import numpy as np
from diffusers import AutoModel, WanPipeline
from diffusers.hooks.group_offloading import apply_group_offloading
from diffusers.utils import export_to_video, load_image
from transformers import UMT5EncoderModel

text_encoder = UMT5EncoderModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="text_encoder", dtype=torch.bfloat16)
vae = AutoModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="vae", dtype=torch.float32)
transformer = AutoModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

pipeline = WanPipeline.from_pretrained(
    "Wan-AI/Wan2.1-T2V-14B-Diffusers",
    vae=vae,
    transformer=transformer,
    text_encoder=text_encoder,
    dtype=torch.bfloat16
)
pipeline.to("cuda")  # or "mps", "xpu", "cpu"

# torch.compile
pipeline.transformer.to(memory_format=torch.channels_last)
pipeline.transformer = torch.compile(
    pipeline.transformer, mode="max-autotune", fullgraph=True
)

prompt = """
The camera rushes from far to near in a low-angle shot,
revealing a white ferret on a log. It plays, leaps into the water, and emerges, as the camera zooms in
for a close-up. Water splashes berry bushes nearby, while moss, snow, and leaves blanket the ground.
Birch trees and a light blue sky frame the scene, with ferns in the foreground. Side lighting casts dynamic
shadows and warm highlights. Medium composition, front view, low angle, with depth of field.
"""
negative_prompt = """
Bright tones, overexposed, static, blurred details, subtitles, style, works, paintings, images, static, overall gray, worst quality,
low quality, JPEG compression residue, ugly, incomplete, extra fingers, poorly drawn hands, poorly drawn faces, deformed, disfigured,
misshapen limbs, fused fingers, still picture, messy background, three legs, many people in the background, walking backwards
"""

output = pipeline(
    prompt=prompt,
    negative_prompt=negative_prompt,
    num_frames=81,
    guidance_scale=5.0,
).frames[0]
export_to_video(output, "output.mp4", fps=16)

Generación de video a partir de los primeros y últimos fotogramas

El siguiente ejemplo demuestra cómo usar el pipeline de imagen a video para generar un video utilizando una descripción de texto, un fotograma inicial y un fotograma final.

uso

Generación controlable de cualquier cosa a video

Wan VACE admite diversas técnicas de generación que logran una generación de video controlable. Algunas de las capacidades incluyen:

Control a Video (Profundidad, Pose, Boceto, Flujo, Escala de grises, Garabato, Diseño, Caja delimitadora, etc.). Biblioteca recomendada para preprocesar videos y obtener videos de control: huggingface/controlnet_aux
Imagen/Video a Video (primer fotograma, último fotograma, clip inicial, clip final, clips aleatorios)
Inpainting y Outpainting
Sujeto al video (caras, objetos, personajes, etc.)
Composición a video (referencia cualquier cosa, anima cualquier cosa, intercambia cualquier cosa, expande cualquier cosa, mueve cualquier cosa, etc.)

Los fragmentos de código disponibles en esta solicitud de extracción (pull request) demuestran algunos ejemplos de cómo se pueden generar videos con señales de controlabilidad.

La regla general a tener en cuenta al preparar las entradas para el pipeline de VACE es que las imágenes de entrada, o los fotogramas de un video que se desee utilizar para el condicionamiento, deben tener una máscara correspondiente de color negro. La máscara negra indica que el modelo no generará nuevo contenido para esa área, y solo utilizará esas partes para condicionar el proceso de generación. Para las partes o fotogramas que el modelo debe generar, la máscara debe ser de color blanco.

Wan-Animate: Animación y reemplazo de personajes unificados con replicación integral

Wan-Animate del equipo Wan.

Presentamos Wan-Animate, un marco unificado para la animación y el reemplazo de personajes. Dada una imagen de un personaje y un video de referencia, Wan-Animate puede animar al personaje replicando con precisión las expresiones y los movimientos del personaje en el video para generar videos de personajes de alta fidelidad. Alternativamente, puede integrar el personaje animado en el video de referencia para reemplazar al personaje original, replicando la iluminación y el tono de color de la escena para lograr una integración ambiental sin costuras. Wan-Animate se basa en el modelo Wan. Para adaptarlo a tareas de animación de personajes, empleamos un paradigma de entrada modificado para diferenciar entre las condiciones de referencia y las regiones para la generación. Este diseño unifica múltiples tareas en una representación simbólica común. Utilizamos señales de esqueleto alineadas espacialmente para replicar el movimiento corporal y características faciales implícitas extraídas de las imágenes de origen para reencarnar las expresiones, lo que permite la generación de videos de personajes con alta controlabilidad y expresividad. Además, para mejorar la integración ambiental durante el reemplazo de personajes, desarrollamos un Relighting LoRA auxiliar. Este módulo preserva la consistencia de la apariencia del personaje mientras aplica la iluminación y el tono de color ambientales apropiados. Los resultados experimentales demuestran que Wan-Animate alcanza un rendimiento líder en su categoría. Nos comprometemos a publicar en código abierto los pesos del modelo y su código fuente.

La página del proyecto: https://humanaigc.github.io/wan-animate

Este modelo fue aportado principalmente por M. Tolga Cangöz.

Uso

El pipeline Wan-Animate admite dos modos de operación:

Modo de animación (predeterminado): Anima una imagen de un personaje basándose en el movimiento y la expresión de los videos de referencia
Modo de reemplazo: Reemplaza un personaje en un video de fondo con un nuevo personaje, preservando la escena

Prerrequisitos

Antes de usar el pipeline, debe preprocesar su video de referencia para extraer:

Video de pose: Contiene puntos clave esqueléticos que representan el movimiento corporal
Video facial: Contiene representaciones de rasgos faciales para el control de la expresión

Para el modo de reemplazo, también necesitas:

Video de fondo: El video original que contiene la escena
Máscara de video: una máscara que indica dónde generar contenido (blanco) frente a dónde conservar el original (negro)

No se deben usar videos sin procesar para entradas como pose_video, ya que el pipeline espera que estén preprocesados para extraer la información adecuada. Los scripts de preprocesamiento para preparar estas entradas están disponibles en el repositorio original de Wan-Animate. La integración de estos pasos de preprocesamiento en Diffusers está prevista para una versión futura.

El siguiente ejemplo demuestra cómo usar el pipeline Wan-Animate:

Modo de animación

Modo de reemplazo

Opciones avanzadas

import numpy as np
import torch
from diffusers import AutoencoderKLWan, WanAnimatePipeline
from diffusers.utils import export_to_video, load_image, load_video

model_id = "Wan-AI/Wan2.2-Animate-14B-Diffusers"
vae = AutoencoderKLWan.from_pretrained(model_id, subfolder="vae", dtype=torch.float32)
pipe = WanAnimatePipeline.from_pretrained(model_id, vae=vae, dtype=torch.bfloat16)
pipe.to("cuda")  # or "mps", "xpu", "cpu"

# Load character image and preprocessed videos
image = load_image("path/to/character.jpg")
pose_video = load_video("path/to/pose_video.mp4")  # Preprocessed skeletal keypoints
face_video = load_video("path/to/face_video.mp4")  # Preprocessed facial features

# Resize image to match VAE constraints
def aspect_ratio_resize(image, pipe, max_area=720 * 1280):
    aspect_ratio = image.height / image.width
    mod_value = pipe.vae_scale_factor_spatial * pipe.transformer.config.patch_size[1]
    height = round(np.sqrt(max_area * aspect_ratio)) // mod_value * mod_value
    width = round(np.sqrt(max_area / aspect_ratio)) // mod_value * mod_value
    image = image.resize((width, height))
    return image, height, width

image, height, width = aspect_ratio_resize(image, pipe)

prompt = "A person dancing energetically in a studio with dynamic lighting and professional camera work"
negative_prompt = "blurry, low quality, distorted, deformed, static, poorly drawn"

# Generate animated video
output = pipe(
    image=image,
    pose_video=pose_video,
    face_video=face_video,
    prompt=prompt,
    negative_prompt=negative_prompt,
    height=height,
    width=width,
    segment_frame_length=77,
    guidance_scale=1.0,
    mode="animate",  # Animation mode (default)
).frames[0]
export_to_video(output, "animated_character.mp4", fps=30)

import numpy as np
import torch
from diffusers import AutoencoderKLWan, WanAnimatePipeline
from diffusers.utils import export_to_video, load_image, load_video

model_id = "Wan-AI/Wan2.2-Animate-14B-Diffusers"
vae = AutoencoderKLWan.from_pretrained(model_id, subfolder="vae", dtype=torch.float32)
pipe = WanAnimatePipeline.from_pretrained(model_id, vae=vae, dtype=torch.bfloat16)
pipe.to("cuda")  # or "mps", "xpu", "cpu"

# Load all required inputs for replacement mode
image = load_image("path/to/new_character.jpg")
pose_video = load_video("path/to/pose_video.mp4")  # Preprocessed skeletal keypoints
face_video = load_video("path/to/face_video.mp4")  # Preprocessed facial features
background_video = load_video("path/to/background_video.mp4")  # Original scene
mask_video = load_video("path/to/mask_video.mp4")  # Black: preserve, White: generate

# Resize image to match video dimensions
def aspect_ratio_resize(image, pipe, max_area=720 * 1280):
    aspect_ratio = image.height / image.width
    mod_value = pipe.vae_scale_factor_spatial * pipe.transformer.config.patch_size[1]
    height = round(np.sqrt(max_area * aspect_ratio)) // mod_value * mod_value
    width = round(np.sqrt(max_area / aspect_ratio)) // mod_value * mod_value
    image = image.resize((width, height))
    return image, height, width

image, height, width = aspect_ratio_resize(image, pipe)

prompt = "A person seamlessly integrated into the scene with consistent lighting and environment"
negative_prompt = "blurry, low quality, inconsistent lighting, floating, disconnected from scene"

# Replace character in background video
output = pipe(
    image=image,
    pose_video=pose_video,
    face_video=face_video,
    background_video=background_video,
    mask_video=mask_video,
    prompt=prompt,
    negative_prompt=negative_prompt,
    height=height,
    width=width,
    segment_frame_lengths=77,
    guidance_scale=1.0,
    mode="replace",  # Replacement mode
).frames[0]
export_to_video(output, "character_replaced.mp4", fps=30)

Parámetros clave

mode: Elija entre "animate" (predeterminado) o "replace"
prev_segment_conditioning_frames: Número de fotogramas para la guía temporal (se recomienda 1 o 5). Usar 5 proporciona una mejor consistencia temporal, pero requiere más memoria
guidance_scale: Controla qué tan de cerca sigue la salida el prompt de texto. Valores más altos (5-7) producen resultados más alineados con el prompt. Para Wan-Animate, CFG está deshabilitado por defecto (guidance_scale=1.0), pero se puede habilitar para soportar prompts negativos y un control más fino sobre las expresiones faciales. (Tenga en cuenta que CFG solo apuntará al prompt de texto y al condicionamiento facial.)

Notas

Wan2.1 admite LoRAs con load_lora_weights().

Mostrar código de ejemplo

# pip install ftfy
import torch
from diffusers import AutoModel, WanPipeline
from diffusers.schedulers.scheduling_unipc_multistep import UniPCMultistepScheduler
from diffusers.utils import export_to_video

vae = AutoModel.from_pretrained(
    "Wan-AI/Wan2.1-T2V-1.3B-Diffusers", subfolder="vae", dtype=torch.float32
)
pipeline = WanPipeline.from_pretrained(
    "Wan-AI/Wan2.1-T2V-1.3B-Diffusers", vae=vae, dtype=torch.bfloat16
)
pipeline.scheduler = UniPCMultistepScheduler.from_config(
    pipeline.scheduler.config, flow_shift=5.0
)
pipeline.to("cuda")  # or "mps", "xpu", "cpu"

pipeline.load_lora_weights("benjamin-paine/steamboat-willie-1.3b", adapter_name="steamboat-willie")
pipeline.set_adapters("steamboat-willie")

pipeline.enable_model_cpu_offload()

# use "steamboat willie style" to trigger the LoRA
prompt = """
steamboat willie style, golden era animation, The camera rushes from far to near in a low-angle shot,
revealing a white ferret on a log. It plays, leaps into the water, and emerges, as the camera zooms in
for a close-up. Water splashes berry bushes nearby, while moss, snow, and leaves blanket the ground.
Birch trees and a light blue sky frame the scene, with ferns in the foreground. Side lighting casts dynamic
shadows and warm highlights. Medium composition, front view, low angle, with depth of field.
"""

output = pipeline(
    prompt=prompt,
    num_frames=81,
    guidance_scale=5.0,
).frames[0]
export_to_video(output, "output.mp4", fps=16)

WanTransformer3DModel y AutoencoderKLWan admiten la carga desde archivos individuales con from_single_file().

Mostrar código de ejemplo

# pip install ftfy
import torch
from diffusers import WanPipeline, WanTransformer3DModel, AutoencoderKLWan

vae = AutoencoderKLWan.from_single_file(
    "https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/blob/main/split_files/vae/wan_2.1_vae.safetensors"
)
transformer = WanTransformer3DModel.from_single_file(
    "https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/blob/main/split_files/diffusion_models/wan2.1_t2v_1.3B_bf16.safetensors",
    dtype=torch.bfloat16
)
pipeline = WanPipeline.from_pretrained(
    "Wan-AI/Wan2.1-T2V-1.3B-Diffusers",
    vae=vae,
    transformer=transformer,
    dtype=torch.bfloat16
)

Establezca el dtype de AutoencoderKLWan en torch.float32 para obtener una mejor calidad de decodificación.
El número de fotogramas por segundo (fps) o k debe calcularse mediante 4 * k + 1.
Pruebe valores de shift más bajos (2.0 a 5.0) para videos de menor resolución y valores de shift más altos (7.0 a 12.0) para imágenes de mayor resolución.
Wan 2.1 y 2.2 admiten el uso de LightX2V LoRAs para acelerar la inferencia. Su uso en Wan 2.2 es ligeramente más complejo. Consulta este fragmento de código para obtener más información.
Wan 2.2 tiene dos denoisers. Por defecto, los LoRAs solo se cargan en el primer denoiser. Se puede establecer load_into_transformer_2=True para cargar los LoRAs en el segundo denoiser. Consulte los ejemplos este y este para obtener más información.

Diffusers

Wan

Generación de texto a video

Generación de video a partir de los primeros y últimos fotogramas

Generación controlable de cualquier cosa a video

Wan-Animate: Animación y reemplazo de personajes unificados con replicación integral

Uso

Prerrequisitos

Parámetros clave

Notas

WanPipeline

clase diffusers.WanPipeline

__call__

encode_prompt

WanImageToVideoPipeline

clase diffusers.WanImageToVideoPipeline

__call__

encode_prompt

WanVACEPipeline

clase diffusers.WanVACEPipeline

__call__

encode_prompt

WanVideoToVideoPipeline

clase diffusers.WanVideoToVideoPipeline

__call__

encode_prompt

WanAnimatePipeline

clase diffusers.WanAnimatePipeline

__call__

encode_prompt

pad_video_frames

WanPipelineOutput

clase diffusers.pipelines.wan.pipeline_output.WanPipelineOutput

call

call

call

call

call