Wan-Animate-2

Wan-Animate-2 của nhóm Alibaba Wan Team tạo chuyển động cho một hình ảnh nhân vật tham chiếu bằng chuyển động từ một video điều khiển. Video điều khiển được xử lý theo các đoạn có độ dài cố định: mỗi đoạn chạy một lượt trích xuất tham chiếu để lưu bộ nhớ đệm K/V của đoạn điều khiển trong mọi lớp transformer, khử nhiễu dựa trên bộ nhớ đệm đó, và được giải mã ngay trong vòng lặp vì đoạn tiếp theo phụ thuộc vào các khung hình đuôi đã được giải mã của đoạn trước.

Có hai preset khả dụng: checkpoint cơ bản lấy mẫu với classifier-free guidance, và checkpoint distilled lấy mẫu trong vài bước mà không có nó (guider của nó được cố định ở guidance_scale=1.0).

import torch
from diffusers import ModularPipeline
from diffusers.utils import export_to_video, load_image, load_video

pipe = ModularPipeline.from_pretrained("Wan-AI/Wan2.2-Animate-2-14B-Diffusers")
pipe.load_components(dtype=torch.bfloat16)

# The transformer weights and the per-segment reference KV cache do not co-reside on one 80 GB
# card at the default resolution, so stream the transformer's blocks. Compiling the blocks is
# required as the in-context attention runs on the flex backend
pipe.transformer.enable_group_offload(
    onload_device=torch.device("cuda"),
    offload_device=torch.device("cpu"),
    offload_type="block_level",
    use_stream=True,
)
pipe.text_encoder.to("cuda")  # or "mps", "xpu", "cpu"
pipe.image_encoder.to("cuda")
pipe.vae.to("cuda")
pipe.transformer.compile_repeated_blocks(fullgraph=False)

# The first demo from the official repository: https://github.com/Wan-Video/Wan-Animate-2
demo = "https://raw.githubusercontent.com/Wan-Video/Wan-Animate-2/main/examples/demo1"
image = load_image(f"{demo}/reference.png")
driving_video, driving_video_fps = load_video(f"{demo}/template.mp4", return_fps=True)
prompt = "人物外观描述：一只银灰色虎斑纹的小猫，拥有圆润的脸庞、竖立的耳朵和巨大的圆形眼睛。它身穿一套深蓝色的制服套装，包括一件带有金色纽扣的西装外套和一条百褶裙。外套里面搭配着白色衬衫，领口处系着一个红色的蝴蝶结，袖口露出白色的衬衫边缘。背景描述：背景为纯白色，光线均匀明亮，无其他杂物或装饰。"

videos = pipe(
    image=image,
    driving_video=driving_video,
    driving_video_fps=driving_video_fps,
    prompt=prompt,
    output="videos",
)
export_to_video(videos[0], "output.mp4", fps=24)

Đối với checkpoint đã distilled, hãy nạp Wan-AI/Wan2.2-Animate-2-14B-Distilled-Diffusers theo cách tương tự — không có gì khác thay đổi. Mỗi preset mang theo các giá trị mặc định riêng cho quá trình sampling (40 bước cho checkpoint gốc, 10 bước cho checkpoint distilled), và không có đối số guidance_scale ở bất kỳ đâu: guidance được quản lý bởi thành phần guider của pipeline (classifier-free guidance ở mức 3.0 cho preset gốc, bị tắt cho preset distilled).

height và width (mặc định là 800 và 640) xác định khu vực mục tiêu của video được tạo ra; kích thước khung hình thực tế sẽ giữ nguyên tỷ lệ khung hình của hình ảnh tham chiếu, và các khung hình điều khiển sẽ được letterbox để khớp với kích thước đó. Các đầu vào đã có kích thước letterbox đúng như mục tiêu sẽ đi qua bước tiền xử lý mà không bị thay đổi, do đó tiền xử lý cũng có thể được thực hiện hoàn toàn bên ngoài pipeline.

WanAnimate2ModularPipeline

lớp diffusers.WanAnimate2ModularPipeline

< source >

( blocks: diffusers.modular_pipelines.modular_pipeline.ModularPipelineBlocks | None = Nonepretrained_model_name_or_path: str | os.PathLike | None = Nonecomponents_manager: diffusers.modular_pipelines.components_manager.ComponentsManager | None = Nonecollection: str | None = Noneworkflow: str | None = Nonemodular_config_dict: dict[str, typing.Any] | None = Noneconfig_dict: dict[str, typing.Any] | None = None**kwargs )

Một ModularPipeline cho hoạt hình nhân vật Wan-Animate-2.

WanAnimate2DistilledModularPipeline

lớp diffusers.WanAnimate2DistilledModularPipeline

< source >

ModularPipeline cho mô hình Wan-Animate-2 đã được chưng cất, cho phép lấy mẫu trong vài bước mà không cần sử dụng classifier-free guidance.

WanAnimate2Blocks

lớp diffusers.WanAnimate2Blocks

< source >

( )

Các khối pipeline mô-đun cho hoạt hình nhân vật Wan-Animate-2: một hình ảnh nhân vật tham chiếu và một video điều khiển tạo ra một video nhân vật thực hiện chuyển động theo video điều khiển.

Các thành phần: text_encoder (UMT5EncoderModel) tokenizer (AutoTokenizer) image_processor (WanAnimate2VideoProcessor) image_encoder (CLIPVisionModel) video_processor (WanAnimate2VideoProcessor) vae (AutoencoderKLWan) transformer (WanAnimate2Transformer3DModel) scheduler (SchedulerMixin) guider (ClassifierFreeGuidance)

Đầu vào: prompt (str): Prompt hoặc các prompt để định hướng việc tạo hình ảnh. negative_prompt (str, tùy chọn): Prompt hoặc các prompt không dùng để định hướng việc tạo hình ảnh. prompt_ref (str, tùy chọn, mặc định là 人物动作的参考视频): Prompt tham chiếu cho ngữ cảnh video điều khiển max_sequence_length (int, tùy chọn, mặc định là 512): Độ dài chuỗi tối đa cho việc mã hóa prompt. image (Image | list): Hình ảnh tham chiếu chứa nhân vật cần tạo chuyển động. height (int, tùy chọn, mặc định là 800): Cùng với width, là diện tích mục tiêu của video được tạo; tỷ lệ khung hình được lấy từ image. Được ghi đè bằng chiều cao khung hình đã được xác định. width (int, tùy chọn, mặc định là 640): Xem height. Được ghi đè bằng chiều rộng khung hình đã được xác định. driving_video (list): Video điều khiển cung cấp chuyển động, ở bất kỳ định dạng nào được chấp nhận bởi VideoProcessor.preprocess_video. driving_video_fps (float, tùy chọn): Tốc độ khung hình mà driving_video được ghi lại — load_video(..., return_fps=True) sẽ báo cáo giá trị này. Khi được đặt, các khung hình điều khiển sẽ được lấy mẫu lại từ giá trị này sang fps; khi None, chúng được sử dụng nguyên bản. fps (int, tùy chọn, mặc định là 24): Tốc độ khung hình mà mô hình tạo ra segment_frame_length (int, tùy chọn, mặc định là 81): Số lượng khung hình trong mỗi phân đoạn suy luận prev_segment_conditioning_frames (int, tùy chọn, mặc định là 1): Số lượng khung hình điều kiện được chuyển tiếp từ phân đoạn trước generator (Generator, tùy chọn): Trình tạo Torch cho việc tạo ra kết quả xác định. num_inference_steps (int, tùy chọn, mặc định là 40): Số bước khử nhiễu. *denoiser_input_fields (None,tùy chọn): đầu vào mô hình có điều kiện cho bộ khử nhiễu: ví dụ prompt_embeds, negative_prompt_embeds, v.v. output_type (str,tùy chọn*, mặc định là np): Loại đầu ra của các video đã được giải mã

Đầu ra: videos (list): Các video được tạo.

WanAnimate2DistilledBlocks

lớp diffusers.WanAnimate2DistilledBlocks

< source >

( )

Các khối pipeline mô-đun cho hoạt ảnh nhân vật Wan-Animate-2 đã được chưng cất, lấy mẫu trong vài bước mà không cần classifier-free guidance.

Đầu vào: prompt (str): Prompt hoặc các prompt để định hướng việc tạo hình ảnh. negative_prompt (str, tùy chọn): Prompt hoặc các prompt không dùng để định hướng việc tạo hình ảnh. prompt_ref (str, tùy chọn, mặc định là 人物动作的参考视频): Prompt tham chiếu cho ngữ cảnh video điều khiển max_sequence_length (int, tùy chọn, mặc định là 512): Độ dài chuỗi tối đa cho việc mã hóa prompt. image (Image | list): Hình ảnh tham chiếu chứa nhân vật cần tạo chuyển động. height (int, tùy chọn, mặc định là 800): Cùng với width, là diện tích mục tiêu của video được tạo; tỷ lệ khung hình được lấy từ image. Được ghi đè bằng chiều cao khung hình đã được xác định. width (int, tùy chọn, mặc định là 640): Xem height. Được ghi đè bằng chiều rộng khung hình đã được xác định. driving_video (list): Video điều khiển cung cấp chuyển động, ở bất kỳ định dạng nào được chấp nhận bởi VideoProcessor.preprocess_video. driving_video_fps (float, tùy chọn): Tốc độ khung hình mà driving_video được ghi lại — load_video(..., return_fps=True) sẽ báo cáo giá trị này. Khi được đặt, các khung hình điều khiển sẽ được lấy mẫu lại từ giá trị này sang fps; khi None, chúng được sử dụng nguyên bản. fps (int, tùy chọn, mặc định là 24): Tốc độ khung hình mà mô hình tạo ra segment_frame_length (int, tùy chọn, mặc định là 81): Số lượng khung hình trong mỗi phân đoạn suy luận prev_segment_conditioning_frames (int, tùy chọn, mặc định là 1): Số lượng khung hình điều kiện được chuyển tiếp từ phân đoạn trước generator (Generator, tùy chọn): Trình tạo Torch cho việc tạo ra kết quả xác định. num_inference_steps (int, tùy chọn, mặc định là 10): Số bước khử nhiễu. *denoiser_input_fields (None,tùy chọn): đầu vào mô hình có điều kiện cho bộ khử nhiễu: ví dụ prompt_embeds, negative_prompt_embeds, v.v. output_type (str,tùy chọn*, mặc định là np): Loại đầu ra của các video đã được giải mã

Đầu ra: videos (list): Các video được tạo.

Update on GitHub