Wan

Wan-2.1 của nhóm Wan.

Báo cáo này giới thiệu Wan, một bộ mô hình nền tảng video toàn diện và mã nguồn mở, được thiết kế để đẩy lùi các giới hạn của việc tạo video. Được xây dựng dựa trên hệ thống diffusion transformer phổ biến, Wan đạt được những tiến bộ đáng kể về khả năng sinh nội dung thông qua một loạt các đổi mới, bao gồm VAE mới của chúng tôi, các chiến lược tiền huấn luyện có thể mở rộng, quy trình tuyển chọn dữ liệu quy mô lớn và các chỉ số đánh giá tự động. Những đóng góp này cùng nhau nâng cao hiệu suất và tính đa dụng của mô hình. Cụ thể, Wan được đặc trưng bởi bốn tính năng chính: Hiệu suất dẫn đầu: Mô hình 14B của Wan, được huấn luyện trên một tập dữ liệu khổng lồ bao gồm hàng tỷ hình ảnh và video, minh chứng cho các quy luật mở rộng (scaling laws) của việc tạo video liên quan đến cả kích thước dữ liệu và kích thước mô hình. Nó liên tục vượt trội hơn so với các mô hình mã nguồn mở hiện có cũng như các giải pháp thương mại tiên tiến nhất trên nhiều bộ đánh giá nội bộ và bên ngoài, thể hiện sự vượt trội về hiệu suất rõ ràng và đáng kể. Tính toàn diện: Wan cung cấp hai mô hình có năng lực, cụ thể là 1,3B và 14B tham số, lần lượt cho hiệu quả và hiệu suất. Nó cũng bao phủ nhiều ứng dụng hạ nguồn, bao gồm tạo video từ hình ảnh, chỉnh sửa video theo hướng dẫn, và tạo video cá nhân hóa, bao gồm tối đa tám tác vụ. Hiệu suất cấp tiêu dùng: Mô hình 1,3B thể hiện hiệu quả tài nguyên vượt trội, chỉ yêu cầu 8,19 GB VRAM, giúp nó tương thích với một loạt các GPU cấp tiêu dùng. Tính mở: Chúng tôi mã nguồn mở toàn bộ dòng sản phẩm Wan, bao gồm mã nguồn và tất cả các mô hình, với mục tiêu thúc đẩy sự phát triển của cộng đồng tạo video. Sự mở này nhằm mở rộng đáng kể các khả năng sáng tạo trong sản xuất video trong ngành và cung cấp cho giới học thuật các mô hình nền tảng video chất lượng cao. Tất cả mã và mô hình đều có sẵn tại đường dẫn URL này.

Bạn có thể tìm thấy tất cả các checkpoint gốc của Wan2.1 dưới tổ chức Wan-AI.

Các mô hình Wan sau đây được hỗ trợ trong Diffusers:

Nhấp vào các mô hình Wan ở thanh bên phải để xem thêm các ví dụ về tạo video.

Tạo video từ văn bản

Ví dụ dưới đây minh họa cách tạo video từ văn bản được tối ưu hóa cho bộ nhớ hoặc tốc độ suy luận.

Bộ nhớ T2V

Tốc độ suy luận T2V

Tham khảo hướng dẫn Giảm mức sử dụng bộ nhớ để biết thêm chi tiết về các kỹ thuật tiết kiệm bộ nhớ khác nhau.

Mô hình text-to-video Wan2.1 bên dưới yêu cầu ~13GB VRAM.

# pip install ftfy
import torch
import numpy as np
from diffusers import AutoModel, WanPipeline
from diffusers.quantizers import PipelineQuantizationConfig
from diffusers.hooks.group_offloading import apply_group_offloading
from diffusers.utils import export_to_video, load_image
from transformers import UMT5EncoderModel

text_encoder = UMT5EncoderModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="text_encoder", dtype=torch.bfloat16)
vae = AutoModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="vae", dtype=torch.float32)
transformer = AutoModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

# group-offloading
onload_device = torch.device("cuda")
offload_device = torch.device("cpu")
apply_group_offloading(text_encoder,
    onload_device=onload_device,
    offload_device=offload_device,
    offload_type="block_level",
    num_blocks_per_group=4
)
transformer.enable_group_offload(
    onload_device=onload_device,
    offload_device=offload_device,
    offload_type="leaf_level",
    use_stream=True
)

pipeline = WanPipeline.from_pretrained(
    "Wan-AI/Wan2.1-T2V-14B-Diffusers",
    vae=vae,
    transformer=transformer,
    text_encoder=text_encoder,
    dtype=torch.bfloat16
)
pipeline.to("cuda")  # or "mps", "xpu", "cpu"

prompt = """
The camera rushes from far to near in a low-angle shot,
revealing a white ferret on a log. It plays, leaps into the water, and emerges, as the camera zooms in
for a close-up. Water splashes berry bushes nearby, while moss, snow, and leaves blanket the ground.
Birch trees and a light blue sky frame the scene, with ferns in the foreground. Side lighting casts dynamic
shadows and warm highlights. Medium composition, front view, low angle, with depth of field.
"""
negative_prompt = """
Bright tones, overexposed, static, blurred details, subtitles, style, works, paintings, images, static, overall gray, worst quality,
low quality, JPEG compression residue, ugly, incomplete, extra fingers, poorly drawn hands, poorly drawn faces, deformed, disfigured,
misshapen limbs, fused fingers, still picture, messy background, three legs, many people in the background, walking backwards
"""

output = pipeline(
    prompt=prompt,
    negative_prompt=negative_prompt,
    num_frames=81,
    guidance_scale=5.0,
).frames[0]
export_to_video(output, "output.mp4", fps=16)

Compilation sẽ chậm ở lần đầu tiên nhưng các lần gọi pipeline sau đó sẽ nhanh hơn. Caching cũng có thể tăng tốc suy luận bằng cách lưu trữ và tái sử dụng các đầu ra trung gian.

# pip install ftfy
import torch
import numpy as np
from diffusers import AutoModel, WanPipeline
from diffusers.hooks.group_offloading import apply_group_offloading
from diffusers.utils import export_to_video, load_image
from transformers import UMT5EncoderModel

text_encoder = UMT5EncoderModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="text_encoder", dtype=torch.bfloat16)
vae = AutoModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="vae", dtype=torch.float32)
transformer = AutoModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

pipeline = WanPipeline.from_pretrained(
    "Wan-AI/Wan2.1-T2V-14B-Diffusers",
    vae=vae,
    transformer=transformer,
    text_encoder=text_encoder,
    dtype=torch.bfloat16
)
pipeline.to("cuda")  # or "mps", "xpu", "cpu"

# torch.compile
pipeline.transformer.to(memory_format=torch.channels_last)
pipeline.transformer = torch.compile(
    pipeline.transformer, mode="max-autotune", fullgraph=True
)

prompt = """
The camera rushes from far to near in a low-angle shot,
revealing a white ferret on a log. It plays, leaps into the water, and emerges, as the camera zooms in
for a close-up. Water splashes berry bushes nearby, while moss, snow, and leaves blanket the ground.
Birch trees and a light blue sky frame the scene, with ferns in the foreground. Side lighting casts dynamic
shadows and warm highlights. Medium composition, front view, low angle, with depth of field.
"""
negative_prompt = """
Bright tones, overexposed, static, blurred details, subtitles, style, works, paintings, images, static, overall gray, worst quality,
low quality, JPEG compression residue, ugly, incomplete, extra fingers, poorly drawn hands, poorly drawn faces, deformed, disfigured,
misshapen limbs, fused fingers, still picture, messy background, three legs, many people in the background, walking backwards
"""

output = pipeline(
    prompt=prompt,
    negative_prompt=negative_prompt,
    num_frames=81,
    guidance_scale=5.0,
).frames[0]
export_to_video(output, "output.mp4", fps=16)

Tạo video từ khung hình đầu-cuối

Ví dụ dưới đây minh họa cách sử dụng pipeline image-to-video để tạo video bằng mô tả văn bản, khung hình bắt đầu và khung hình kết thúc.

cách sử dụng

Tạo video có thể điều khiển từ bất kỳ

Wan VACE hỗ trợ nhiều kỹ thuật tạo khác nhau, đạt được khả năng tạo video có thể kiểm soát. Một số khả năng bao gồm:

Điều khiển sang Video (Chiều sâu, Tư thế, Phác thảo, Dòng chảy, Xám, Vẽ nguệch ngoạc, Bố cục, Hộp bao, v.v.). Thư viện được khuyến nghị để tiền xử lý video nhằm thu được video điều khiển: huggingface/controlnet_aux
Hình ảnh/Video sang Video (khung đầu, khung cuối, đoạn clip bắt đầu, đoạn clip kết thúc, các đoạn clip ngẫu nhiên)
Inpainting và Outpainting
Đối tượng trong Video (khuôn mặt, vật thể, nhân vật, v.v.)
Tạo video từ bố cục (tham chiếu bất kỳ thứ gì, tạo chuyển động cho bất kỳ thứ gì, hoán đổi bất kỳ thứ gì, mở rộng bất kỳ thứ gì, di chuyển bất kỳ thứ gì, v.v.)

Các đoạn mã có sẵn trong pull request này minh họa một số ví dụ về cách tạo video với các tín hiệu điều khiển.

Quy tắc chung cần ghi nhớ khi chuẩn bị đầu vào cho pipeline VACE là các hình ảnh đầu vào, hoặc các khung hình của video mà bạn muốn dùng để điều kiện hóa, phải có một mask tương ứng có màu đen. Mask màu đen cho thấy mô hình sẽ không tạo ra nội dung mới cho khu vực đó, mà chỉ sử dụng các phần đó để điều kiện hóa quá trình tạo. Đối với các phần/khung hình cần được mô hình tạo ra, mask phải có màu trắng.

Wan-Animate: Hoạt ảnh và thay thế nhân vật thống nhất với sao chép toàn diện

Wan-Animate của nhóm Wan.

Chúng tôi giới thiệu Wan-Animate, một khung thống nhất cho hoạt hình hóa và thay thế nhân vật. Với một hình ảnh nhân vật và một video tham chiếu, Wan-Animate có thể hoạt hình hóa nhân vật bằng cách tái tạo chính xác các biểu cảm và chuyển động của nhân vật trong video để tạo ra các video nhân vật có độ trung thực cao. Hoặc, nó có thể tích hợp nhân vật đã được hoạt hình hóa vào video tham chiếu để thay thế nhân vật gốc, tái tạo ánh sáng và tông màu của cảnh để đạt được sự tích hợp môi trường liền mạch. Wan-Animate được xây dựng dựa trên mô hình Wan. Để điều chỉnh nó cho các tác vụ hoạt hình hóa nhân vật, chúng tôi sử dụng một hệ thống đầu vào được sửa đổi để phân biệt giữa các điều kiện tham chiếu và các vùng để tạo. Thiết kế này thống nhất nhiều tác vụ vào một biểu diễn ký hiệu chung. Chúng tôi sử dụng các tín hiệu bộ xương được căn chỉnh theo không gian để tái tạo chuyển động cơ thể và các đặc điểm khuôn mặt ẩn được trích xuất từ các hình ảnh nguồn để tái hiện các biểu cảm, cho phép tạo ra các video nhân vật với khả năng kiểm soát và biểu cảm cao. Hơn nữa, để tăng cường tích hợp môi trường trong quá trình thay thế nhân vật, chúng tôi phát triển một Relighting LoRA bổ trợ. Module này giữ cho ngoại hình của nhân vật nhất quán trong khi áp dụng ánh sáng và tông màu môi trường phù hợp. Kết quả thực nghiệm cho thấy Wan-Animate đạt hiệu suất tiên tiến nhất. Chúng tôi cam kết mã hóa nguồn mở các trọng số mô hình và mã nguồn của nó.

Trang dự án: https://humanaigc.github.io/wan-animate

Mô hình này chủ yếu được đóng góp bởi M. Tolga Cangöz.

Cách sử dụng

Pipeline Wan-Animate hỗ trợ hai chế độ hoạt động:

Chế độ Hoạt hình (mặc định): Tạo hoạt hình cho hình ảnh nhân vật dựa trên chuyển động và biểu cảm từ các video tham chiếu
Chế độ Thay thế: Thay thế một nhân vật trong video nền bằng một nhân vật mới trong khi giữ nguyên bối cảnh

Yêu cầu tiên quyết

Trước khi sử dụng pipeline, bạn cần tiền xử lý video tham chiếu của mình để trích xuất:

Video tư thế: Chứa các điểm then chốt của bộ xương thể hiện chuyển động cơ thể
Video khuôn mặt: Chứa các biểu diễn đặc điểm khuôn mặt để kiểm soát biểu cảm

Đối với chế độ thay thế, bạn cần thêm:

Video nền: Video gốc chứa cảnh
Video mặt nạ: Mặt nạ chỉ định nơi cần tạo nội dung (trắng) so với nơi giữ nguyên bản (đen)

Video thô không nên được sử dụng cho các đầu vào như pose_video, vì pipeline kỳ vọng chúng đã được tiền xử lý để trích xuất thông tin phù hợp. Các script tiền xử lý để chuẩn bị những đầu vào này có sẵn trong kho Wan-Animate gốc. Việc tích hợp các bước tiền xử lý này vào Diffusers được lên kế hoạch cho một bản phát hành trong tương lai.

Ví dụ dưới đây minh họa cách sử dụng pipeline Wan-Animate:

Chế độ hoạt hình

Chế độ thay thế

Tùy chọn nâng cao

import numpy as np
import torch
from diffusers import AutoencoderKLWan, WanAnimatePipeline
from diffusers.utils import export_to_video, load_image, load_video

model_id = "Wan-AI/Wan2.2-Animate-14B-Diffusers"
vae = AutoencoderKLWan.from_pretrained(model_id, subfolder="vae", dtype=torch.float32)
pipe = WanAnimatePipeline.from_pretrained(model_id, vae=vae, dtype=torch.bfloat16)
pipe.to("cuda")  # or "mps", "xpu", "cpu"

# Load character image and preprocessed videos
image = load_image("path/to/character.jpg")
pose_video = load_video("path/to/pose_video.mp4")  # Preprocessed skeletal keypoints
face_video = load_video("path/to/face_video.mp4")  # Preprocessed facial features

# Resize image to match VAE constraints
def aspect_ratio_resize(image, pipe, max_area=720 * 1280):
    aspect_ratio = image.height / image.width
    mod_value = pipe.vae_scale_factor_spatial * pipe.transformer.config.patch_size[1]
    height = round(np.sqrt(max_area * aspect_ratio)) // mod_value * mod_value
    width = round(np.sqrt(max_area / aspect_ratio)) // mod_value * mod_value
    image = image.resize((width, height))
    return image, height, width

image, height, width = aspect_ratio_resize(image, pipe)

prompt = "A person dancing energetically in a studio with dynamic lighting and professional camera work"
negative_prompt = "blurry, low quality, distorted, deformed, static, poorly drawn"

# Generate animated video
output = pipe(
    image=image,
    pose_video=pose_video,
    face_video=face_video,
    prompt=prompt,
    negative_prompt=negative_prompt,
    height=height,
    width=width,
    segment_frame_length=77,
    guidance_scale=1.0,
    mode="animate",  # Animation mode (default)
).frames[0]
export_to_video(output, "animated_character.mp4", fps=30)

import numpy as np
import torch
from diffusers import AutoencoderKLWan, WanAnimatePipeline
from diffusers.utils import export_to_video, load_image, load_video

model_id = "Wan-AI/Wan2.2-Animate-14B-Diffusers"
vae = AutoencoderKLWan.from_pretrained(model_id, subfolder="vae", dtype=torch.float32)
pipe = WanAnimatePipeline.from_pretrained(model_id, vae=vae, dtype=torch.bfloat16)
pipe.to("cuda")  # or "mps", "xpu", "cpu"

# Load all required inputs for replacement mode
image = load_image("path/to/new_character.jpg")
pose_video = load_video("path/to/pose_video.mp4")  # Preprocessed skeletal keypoints
face_video = load_video("path/to/face_video.mp4")  # Preprocessed facial features
background_video = load_video("path/to/background_video.mp4")  # Original scene
mask_video = load_video("path/to/mask_video.mp4")  # Black: preserve, White: generate

# Resize image to match video dimensions
def aspect_ratio_resize(image, pipe, max_area=720 * 1280):
    aspect_ratio = image.height / image.width
    mod_value = pipe.vae_scale_factor_spatial * pipe.transformer.config.patch_size[1]
    height = round(np.sqrt(max_area * aspect_ratio)) // mod_value * mod_value
    width = round(np.sqrt(max_area / aspect_ratio)) // mod_value * mod_value
    image = image.resize((width, height))
    return image, height, width

image, height, width = aspect_ratio_resize(image, pipe)

prompt = "A person seamlessly integrated into the scene with consistent lighting and environment"
negative_prompt = "blurry, low quality, inconsistent lighting, floating, disconnected from scene"

# Replace character in background video
output = pipe(
    image=image,
    pose_video=pose_video,
    face_video=face_video,
    background_video=background_video,
    mask_video=mask_video,
    prompt=prompt,
    negative_prompt=negative_prompt,
    height=height,
    width=width,
    segment_frame_lengths=77,
    guidance_scale=1.0,
    mode="replace",  # Replacement mode
).frames[0]
export_to_video(output, "character_replaced.mp4", fps=30)

Các tham số chính

mode: Chọn giữa "animate" (mặc định) hoặc "replace"
prev_segment_conditioning_frames: Số khung hình cho hướng dẫn theo thời gian (khuyến nghị dùng 1 hoặc 5). Dùng 5 giúp tăng tính nhất quán theo thời gian nhưng đòi hỏi nhiều bộ nhớ hơn
guidance_scale: Kiểm soát mức độ bám sát của kết quả đầu ra so với prompt văn bản. Các giá trị cao hơn (5-7) tạo ra kết quả phù hợp hơn với prompt. Đối với Wan-Animate, CFG bị tắt theo mặc định (guidance_scale=1.0) nhưng có thể được bật để hỗ trợ negative prompts và kiểm soát chi tiết hơn các biểu cảm khuôn mặt. (Lưu ý rằng CFG chỉ nhắm vào prompt văn bản và điều kiện khuôn mặt.)

Ghi chú

Wan2.1 hỗ trợ LoRA với load_lora_weights().

Hiển thị mã ví dụ

# pip install ftfy
import torch
from diffusers import AutoModel, WanPipeline
from diffusers.schedulers.scheduling_unipc_multistep import UniPCMultistepScheduler
from diffusers.utils import export_to_video

vae = AutoModel.from_pretrained(
    "Wan-AI/Wan2.1-T2V-1.3B-Diffusers", subfolder="vae", dtype=torch.float32
)
pipeline = WanPipeline.from_pretrained(
    "Wan-AI/Wan2.1-T2V-1.3B-Diffusers", vae=vae, dtype=torch.bfloat16
)
pipeline.scheduler = UniPCMultistepScheduler.from_config(
    pipeline.scheduler.config, flow_shift=5.0
)
pipeline.to("cuda")  # or "mps", "xpu", "cpu"

pipeline.load_lora_weights("benjamin-paine/steamboat-willie-1.3b", adapter_name="steamboat-willie")
pipeline.set_adapters("steamboat-willie")

pipeline.enable_model_cpu_offload()

# use "steamboat willie style" to trigger the LoRA
prompt = """
steamboat willie style, golden era animation, The camera rushes from far to near in a low-angle shot,
revealing a white ferret on a log. It plays, leaps into the water, and emerges, as the camera zooms in
for a close-up. Water splashes berry bushes nearby, while moss, snow, and leaves blanket the ground.
Birch trees and a light blue sky frame the scene, with ferns in the foreground. Side lighting casts dynamic
shadows and warm highlights. Medium composition, front view, low angle, with depth of field.
"""

output = pipeline(
    prompt=prompt,
    num_frames=81,
    guidance_scale=5.0,
).frames[0]
export_to_video(output, "output.mp4", fps=16)

WanTransformer3DModel và AutoencoderKLWan hỗ trợ tải từ các tệp đơn lẻ bằng from_single_file().

Hiển thị mã ví dụ

# pip install ftfy
import torch
from diffusers import WanPipeline, WanTransformer3DModel, AutoencoderKLWan

vae = AutoencoderKLWan.from_single_file(
    "https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/blob/main/split_files/vae/wan_2.1_vae.safetensors"
)
transformer = WanTransformer3DModel.from_single_file(
    "https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/blob/main/split_files/diffusion_models/wan2.1_t2v_1.3B_bf16.safetensors",
    dtype=torch.bfloat16
)
pipeline = WanPipeline.from_pretrained(
    "Wan-AI/Wan2.1-T2V-1.3B-Diffusers",
    vae=vae,
    transformer=transformer,
    dtype=torch.bfloat16
)

Đặt dtype của AutoencoderKLWan thành torch.float32 để có chất lượng giải mã tốt hơn.
Số khung hình mỗi giây (fps) hoặc k nên được tính bằng 4 * k + 1.
Thử các giá trị shift thấp hơn (2.0 đến 5.0) cho video có độ phân giải thấp và các giá trị shift cao hơn (7.0 đến 12.0) cho hình ảnh có độ phân giải cao.
Wan 2.1 và 2.2 hỗ trợ sử dụng LightX2V LoRAs để tăng tốc suy luận. Việc sử dụng chúng trên Wan 2.2 hơi phức tạp hơn. Tham khảo mảnh mã này để biết thêm.
Wan 2.2 có hai denoiser. Mặc định, LoRA chỉ được nạp vào denoiser đầu tiên. Bạn có thể đặt load_into_transformer_2=True để nạp LoRA vào denoiser thứ hai. Xem ví dụ này và này để tìm hiểu thêm.

Diffusers

Wan

Tạo video từ văn bản

Tạo video từ khung hình đầu-cuối

Tạo video có thể điều khiển từ bất kỳ

Wan-Animate: Hoạt ảnh và thay thế nhân vật thống nhất với sao chép toàn diện

Cách sử dụng

Yêu cầu tiên quyết

Các tham số chính

Ghi chú

WanPipeline

lớp diffusers.WanPipeline

__call__

encode_prompt

WanImageToVideoPipeline

lớp diffusers.WanImageToVideoPipeline

__call__

encode_prompt

WanVACEPipeline

lớp diffusers.WanVACEPipeline

__call__

encode_prompt

WanVideoToVideoPipeline

lớp diffusers.WanVideoToVideoPipeline

__call__

encode_prompt

WanAnimatePipeline

lớp diffusers.WanAnimatePipeline

__call__

encode_prompt

pad_video_frames

WanPipelineOutput

lớp diffusers.pipelines.wan.pipeline_output.WanPipelineOutput

call

call

call

call

call