Wan

Wan Ekibi tarafından Wan-2.1.

Bu rapor, video üretiminin sınırlarını zorlamak üzere tasarlanmış kapsamlı ve açık bir video temel modeli seti olan Wan'ı sunmaktadır. Ana akım difüzyon dönüştürücü (diffusion transformer) paradigmine dayanan Wan; yeni VAE'miz, ölçeklenebilir ön eğitim stratejileri, büyük ölçekli veri kürasyonu ve otomatik değerlendirme metrikleri gibi bir dizi yenilik yoluyla üretici yeteneklerde önemli ilerlemeler sağlamaktadır. Bu katkılar, modelin performansını ve çok yönlülüğünü kolektif olarak artırmaktadır. Özellikle Wan, dört ana özelle karakterize edilir: Öncü Performans: Milyarlarca görüntü ve videodan oluşan devasa bir veri setinde eğitilen Wan'ın 14B modeli, hem veri hem de model boyutu açısından video üretiminin ölçekleme kurallarını (scaling laws) göstermektedir. Birden fazla dahili ve harici benchmark'ta mevcut açık kaynak modellerin ve en ileri düzey ticari çözümlerin tutarlı olarak önüne geçerek açık ve önemli bir performans üstünlüğü sergilemektedir. Kapsamlılık: Wan, verimlilik ve etkililik için sırasıyla 1.3B ve 14B parametreli iki yetkin model sunmaktadır. Ayrıca görüntüden videoya, talimat yönlendirmeli video düzenleme ve kişisel video üretimi dahil olmak üzere sekize kadar görevi kapsayan birden fazla aşağı akış (downstream) uygulamasını kapsamaktadır. Tüketici Düzeyinde Verimlilik: 1.3B model, yalnızca 8.19 GB VRAM gerektiren olağanüstü kaynak verimliliği göstererek geniş bir tüketici düzeyi GPU yelpazesiyle uyumludur. Açıklık: Video üretim topluluğunun büyümesini teşvik etme hedefiyle, kaynak kodu ve tüm modeller dahil olmak üzere Wan serisinin tamamını açık kaynaklı hale getirdik. Bu açıklık, sektörde video üretiminin yaratıcı olanaklarını önemli ölçüde genişletmeyi ve akademiye yüksek kaliteli video temel modelleri sağlamayı amaçlamaktadır. Tüm kod ve modeller bu https URL adresinde mevcuttur.

Tüm orijinal Wan2.1 checkpoint'lerini Wan-AI kuruluşu altında bulabilirsiniz.

Diffusers'da aşağıdaki Wan modelleri desteklenmektedir:

Daha fazla video üretimi örneği için sağ kenar çubuğundaki Wan modellerine tıklayın.

Metinden Video Üretimi

Aşağıdaki örnek, bellek veya çıkarım hızı için optimize edilmiş metinden video üretiminin nasıl yapılacağını gösterir.

T2V bellek

T2V çıkarım hızı

Çeşitli bellek tasarrufu teknikleri hakkında daha fazla ayrıntı için Bellek kullanımını azaltma kılavuzuna bakın.

Aşağıdaki Wan2.1 metinden videoya model ~13GB VRAM gerektirir.

# pip install ftfy
import torch
import numpy as np
from diffusers import AutoModel, WanPipeline
from diffusers.quantizers import PipelineQuantizationConfig
from diffusers.hooks.group_offloading import apply_group_offloading
from diffusers.utils import export_to_video, load_image
from transformers import UMT5EncoderModel

text_encoder = UMT5EncoderModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="text_encoder", dtype=torch.bfloat16)
vae = AutoModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="vae", dtype=torch.float32)
transformer = AutoModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

# group-offloading
onload_device = torch.device("cuda")
offload_device = torch.device("cpu")
apply_group_offloading(text_encoder,
    onload_device=onload_device,
    offload_device=offload_device,
    offload_type="block_level",
    num_blocks_per_group=4
)
transformer.enable_group_offload(
    onload_device=onload_device,
    offload_device=offload_device,
    offload_type="leaf_level",
    use_stream=True
)

pipeline = WanPipeline.from_pretrained(
    "Wan-AI/Wan2.1-T2V-14B-Diffusers",
    vae=vae,
    transformer=transformer,
    text_encoder=text_encoder,
    dtype=torch.bfloat16
)
pipeline.to("cuda")  # or "mps", "xpu", "cpu"

prompt = """
The camera rushes from far to near in a low-angle shot,
revealing a white ferret on a log. It plays, leaps into the water, and emerges, as the camera zooms in
for a close-up. Water splashes berry bushes nearby, while moss, snow, and leaves blanket the ground.
Birch trees and a light blue sky frame the scene, with ferns in the foreground. Side lighting casts dynamic
shadows and warm highlights. Medium composition, front view, low angle, with depth of field.
"""
negative_prompt = """
Bright tones, overexposed, static, blurred details, subtitles, style, works, paintings, images, static, overall gray, worst quality,
low quality, JPEG compression residue, ugly, incomplete, extra fingers, poorly drawn hands, poorly drawn faces, deformed, disfigured,
misshapen limbs, fused fingers, still picture, messy background, three legs, many people in the background, walking backwards
"""

output = pipeline(
    prompt=prompt,
    negative_prompt=negative_prompt,
    num_frames=81,
    guidance_scale=5.0,
).frames[0]
export_to_video(output, "output.mp4", fps=16)

Derleme ilk seferde yavaştır ancak pipeline'a yapılan sonraki çağrılar daha hızlıdır. Önbelleğe alma, ara çıktıları saklayıp yeniden kullanarak çıkarımı hızlandırabilir.

# pip install ftfy
import torch
import numpy as np
from diffusers import AutoModel, WanPipeline
from diffusers.hooks.group_offloading import apply_group_offloading
from diffusers.utils import export_to_video, load_image
from transformers import UMT5EncoderModel

text_encoder = UMT5EncoderModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="text_encoder", dtype=torch.bfloat16)
vae = AutoModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="vae", dtype=torch.float32)
transformer = AutoModel.from_pretrained("Wan-AI/Wan2.1-T2V-14B-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

pipeline = WanPipeline.from_pretrained(
    "Wan-AI/Wan2.1-T2V-14B-Diffusers",
    vae=vae,
    transformer=transformer,
    text_encoder=text_encoder,
    dtype=torch.bfloat16
)
pipeline.to("cuda")  # or "mps", "xpu", "cpu"

# torch.compile
pipeline.transformer.to(memory_format=torch.channels_last)
pipeline.transformer = torch.compile(
    pipeline.transformer, mode="max-autotune", fullgraph=True
)

prompt = """
The camera rushes from far to near in a low-angle shot,
revealing a white ferret on a log. It plays, leaps into the water, and emerges, as the camera zooms in
for a close-up. Water splashes berry bushes nearby, while moss, snow, and leaves blanket the ground.
Birch trees and a light blue sky frame the scene, with ferns in the foreground. Side lighting casts dynamic
shadows and warm highlights. Medium composition, front view, low angle, with depth of field.
"""
negative_prompt = """
Bright tones, overexposed, static, blurred details, subtitles, style, works, paintings, images, static, overall gray, worst quality,
low quality, JPEG compression residue, ugly, incomplete, extra fingers, poorly drawn hands, poorly drawn faces, deformed, disfigured,
misshapen limbs, fused fingers, still picture, messy background, three legs, many people in the background, walking backwards
"""

output = pipeline(
    prompt=prompt,
    negative_prompt=negative_prompt,
    num_frames=81,
    guidance_scale=5.0,
).frames[0]
export_to_video(output, "output.mp4", fps=16)

İlk-Son-Kare-Video Üretimi

Aşağıdaki örnek, bir metin açıklaması, bir başlangıç karesi ve bir bitiş karesi kullanarak video üretmek için görüntüden video hattının (pipeline) nasıl kullanılacağını göstermektedir.

kullanım

Herhangi-Videoya Kontrol Edilebilir Üretim

Wan VACE, kontrollü video üretimi sağlayan çeşitli üretim tekniklerini destekler. Bu yeteneklerden bazıları şunlardır:

Video Kontrolü (Derinlik, Poz, Taslak, Akış, Grayscale, Karalama, Yerleşim, Sınır Kutusu vb.). Kontrol videoları elde etmek için videoları ön işlemeye yönelik önerilen kütüphane: huggingface/controlnet_aux
Görsel/Video'dan Video'ya (ilk kare, son kare, başlangıç klipleri, bitiş klipleri, rastgele klipler)
Inpainting ve Outpainting
Videoya Göre (yüzler, nesneler, karakterler vb.)
Bileşimden Video (herhangi bir referans, herhangi bir şeyi animasyonla, herhangi bir şeyi değiştir, herhangi bir şeyi genişlet, herhangi bir şeyi hareket ettir, vb.)

Bu çekme isteğinde (bu) mevcut olan kod parçacıkları, kontrol edilebilirlik sinyalleriyle videoların nasıl üretilebileceğine dair bazı örnekleri göstermektedir.

VACE hattı için girdileri hazırlarken akılda tutulması gereken genel kural, koşullandırmada kullanmak istediğiniz girdi görüntülerinin veya bir videonun karelerinin, siyah renkte bir maskeye sahip olması gerektiğidir. Siyah maske, modelin o alan için yeni içerik üretmeyeceğini ve yalnızca o bölümleri üretim sürecini koşullandırmak için kullanacağını belirtir. Model tarafından üretilmesi gereken kısımlar/kareler için maskenin beyaz renkte olması gerekir.

Wan-Animate: Bütüncül Kopyalama ile Birleşik Karakter Animasyonu ve Değiştirme

Wan Ekibi tarafından Wan-Animate.

Wan-Animate, karakter animasyonu ve değiştirme için birleşik bir çerçeve olarak tanıtıyoruz. Bir karakter görseli ve referans video verildiğinde, Wan-Animate, videodaki karakterin ifadelerini ve hareketlerini hassas bir şekilde kopyalayarak karakteri canlandırır ve yüksek sadakatli karakter videoları üretir. Alternatif olarak, canlandırılmış karakteri referans videoya entegre ederek orijinal karakteri değiştirebilir; sahnenin aydınlatmasını ve renk tonunu kopyalayarak kusursuz bir ortam entegrasyonu sağlar. Wan-Animate, Wan modeli üzerine inşa edilmiştir. Karakter animasyonu görevlerine uyarlamak için, referans koşulları ile üretim bölgeleri arasında ayrım yapmak üzere değiştirilmiş bir girdi paradigması kullanıyoruz. Bu tasarım, birden fazla görevi ortak bir sembolik temsilde birleştirir. Vücut hareketini kopyalamak için uzamsal olarak hizalı iskelet sinyallerini ve ifadeleri yeniden canlandırmak için kaynak görsellerden çıkarılan örtük yüz özelliklerini kullanarak, yüksek kontrol edilebilirliğe ve ifade gücüne sahip karakter videolarının üretimini sağlıyoruz. Ayrıca, karakter değiştirme sırasında ortam entegrasyonunu artırmak için yardımcı bir Relighting LoRA geliştirdik. Bu modül, karakterin görünüm tutarlılığını korurken uygun ortam aydınlatmasını ve renk tonunu uygular. Deneysel sonuçlar, Wan-Animate'in en iyi performansı (state-of-the-art) elde ettiğini göstermektedir. Model ağırlıklarını ve kaynak kodunu açık kaynak olarak yayınlamaya kararlıyız.

Proje sayfası: https://humanaigc.github.io/wan-animate

Bu model büyük ölçüde M. Tolga Cangöz tarafından katkı sağlanmıştır.

Kullanım

Wan-Animate hattı iki çalışma modunu destekler:

Animasyon Modu (varsayılan): Referans videolardaki hareket ve ifadelere dayalı olarak bir karakter görselini canlandırır
Yerine Geçirme Modu: Sahneyi koruyarak arka plan videosundaki bir karakteri yeni bir karakterle değiştirir

Ön koşullar

Pipeline kullanmadan önce, referans videonuzu ön işlemeye tabi tutarak şunları çıkarmalısınız:

Poz videosu: Vücut hareketini temsil eden iskelet anahtar noktalarını içerir
Yüz videosu: İfade kontrolü için yüz özelliği temsilleri içerir

Değiştirme modu için ek olarak şunlara ihtiyacınız var:

Arka plan videosu: Sahneyi içeren orijinal video
Video maskesi: İçerik üretilecek (beyaz) ve orijinalin korunacağı (siyah) bölgeleri gösteren bir maske

Ham videolar, hattın uygun bilgileri çıkarmak için önceden işlenmiş olmasını beklediği pose_video gibi girdiler için kullanılmamalıdır. Bu girdileri hazırlamak için ön işleme betikleri orijinal Wan-Animate deposunda mevcuttur. Bu ön işleme adımlarının Diffusers'a entegrasyonu, gelecekteki bir sürümde planlanmaktadır.

Aşağıdaki örnek, Wan-Animate hattının nasıl kullanılacağını göstermektedir:

Animasyon modu

Değiştirme modu

Gelişmiş seçenekler

import numpy as np
import torch
from diffusers import AutoencoderKLWan, WanAnimatePipeline
from diffusers.utils import export_to_video, load_image, load_video

model_id = "Wan-AI/Wan2.2-Animate-14B-Diffusers"
vae = AutoencoderKLWan.from_pretrained(model_id, subfolder="vae", dtype=torch.float32)
pipe = WanAnimatePipeline.from_pretrained(model_id, vae=vae, dtype=torch.bfloat16)
pipe.to("cuda")  # or "mps", "xpu", "cpu"

# Load character image and preprocessed videos
image = load_image("path/to/character.jpg")
pose_video = load_video("path/to/pose_video.mp4")  # Preprocessed skeletal keypoints
face_video = load_video("path/to/face_video.mp4")  # Preprocessed facial features

# Resize image to match VAE constraints
def aspect_ratio_resize(image, pipe, max_area=720 * 1280):
    aspect_ratio = image.height / image.width
    mod_value = pipe.vae_scale_factor_spatial * pipe.transformer.config.patch_size[1]
    height = round(np.sqrt(max_area * aspect_ratio)) // mod_value * mod_value
    width = round(np.sqrt(max_area / aspect_ratio)) // mod_value * mod_value
    image = image.resize((width, height))
    return image, height, width

image, height, width = aspect_ratio_resize(image, pipe)

prompt = "A person dancing energetically in a studio with dynamic lighting and professional camera work"
negative_prompt = "blurry, low quality, distorted, deformed, static, poorly drawn"

# Generate animated video
output = pipe(
    image=image,
    pose_video=pose_video,
    face_video=face_video,
    prompt=prompt,
    negative_prompt=negative_prompt,
    height=height,
    width=width,
    segment_frame_length=77,
    guidance_scale=1.0,
    mode="animate",  # Animation mode (default)
).frames[0]
export_to_video(output, "animated_character.mp4", fps=30)

import numpy as np
import torch
from diffusers import AutoencoderKLWan, WanAnimatePipeline
from diffusers.utils import export_to_video, load_image, load_video

model_id = "Wan-AI/Wan2.2-Animate-14B-Diffusers"
vae = AutoencoderKLWan.from_pretrained(model_id, subfolder="vae", dtype=torch.float32)
pipe = WanAnimatePipeline.from_pretrained(model_id, vae=vae, dtype=torch.bfloat16)
pipe.to("cuda")  # or "mps", "xpu", "cpu"

# Load all required inputs for replacement mode
image = load_image("path/to/new_character.jpg")
pose_video = load_video("path/to/pose_video.mp4")  # Preprocessed skeletal keypoints
face_video = load_video("path/to/face_video.mp4")  # Preprocessed facial features
background_video = load_video("path/to/background_video.mp4")  # Original scene
mask_video = load_video("path/to/mask_video.mp4")  # Black: preserve, White: generate

# Resize image to match video dimensions
def aspect_ratio_resize(image, pipe, max_area=720 * 1280):
    aspect_ratio = image.height / image.width
    mod_value = pipe.vae_scale_factor_spatial * pipe.transformer.config.patch_size[1]
    height = round(np.sqrt(max_area * aspect_ratio)) // mod_value * mod_value
    width = round(np.sqrt(max_area / aspect_ratio)) // mod_value * mod_value
    image = image.resize((width, height))
    return image, height, width

image, height, width = aspect_ratio_resize(image, pipe)

prompt = "A person seamlessly integrated into the scene with consistent lighting and environment"
negative_prompt = "blurry, low quality, inconsistent lighting, floating, disconnected from scene"

# Replace character in background video
output = pipe(
    image=image,
    pose_video=pose_video,
    face_video=face_video,
    background_video=background_video,
    mask_video=mask_video,
    prompt=prompt,
    negative_prompt=negative_prompt,
    height=height,
    width=width,
    segment_frame_lengths=77,
    guidance_scale=1.0,
    mode="replace",  # Replacement mode
).frames[0]
export_to_video(output, "character_replaced.mp4", fps=30)

Önemli Parametreler

mode: "animate" (varsayılan) veya "replace" arasında seçim yapın
prev_segment_conditioning_frames: Zamanlama yönlendirmesi için kare sayısı (1 veya 5 önerilir). 5 kullanmak daha iyi zamanlama tutarlılığı sağlar ancak daha fazla bellek gerektirir
guidance_scale: Çıktının metin komutuna ne kadar sadık kaldığını kontrol eder. Daha yüksek değerler (5-7), komutla daha uyumlu sonuçlar üretir. Wan-Animate için CFG varsayılan olarak devre dışıdır (guidance_scale=1.0) ancak negatif komutları desteklemek ve yüz ifadeleri üzerinde daha ince bir kontrol sağlamak için etkinleştirilebilir. (CFG'nin yalnızca metin komutunu ve yüz koşullandırmasını hedefleyeceğini unutmayın.)

Notlar

Wan2.1, load_lora_weights() ile LoRA'ları destekler.

Örnek kodu göster

# pip install ftfy
import torch
from diffusers import AutoModel, WanPipeline
from diffusers.schedulers.scheduling_unipc_multistep import UniPCMultistepScheduler
from diffusers.utils import export_to_video

vae = AutoModel.from_pretrained(
    "Wan-AI/Wan2.1-T2V-1.3B-Diffusers", subfolder="vae", dtype=torch.float32
)
pipeline = WanPipeline.from_pretrained(
    "Wan-AI/Wan2.1-T2V-1.3B-Diffusers", vae=vae, dtype=torch.bfloat16
)
pipeline.scheduler = UniPCMultistepScheduler.from_config(
    pipeline.scheduler.config, flow_shift=5.0
)
pipeline.to("cuda")  # or "mps", "xpu", "cpu"

pipeline.load_lora_weights("benjamin-paine/steamboat-willie-1.3b", adapter_name="steamboat-willie")
pipeline.set_adapters("steamboat-willie")

pipeline.enable_model_cpu_offload()

# use "steamboat willie style" to trigger the LoRA
prompt = """
steamboat willie style, golden era animation, The camera rushes from far to near in a low-angle shot,
revealing a white ferret on a log. It plays, leaps into the water, and emerges, as the camera zooms in
for a close-up. Water splashes berry bushes nearby, while moss, snow, and leaves blanket the ground.
Birch trees and a light blue sky frame the scene, with ferns in the foreground. Side lighting casts dynamic
shadows and warm highlights. Medium composition, front view, low angle, with depth of field.
"""

output = pipeline(
    prompt=prompt,
    num_frames=81,
    guidance_scale=5.0,
).frames[0]
export_to_video(output, "output.mp4", fps=16)

WanTransformer3DModel ve AutoencoderKLWan, from_single_file() ile tek dosyalardan yükleme destekler.

Örnek kodu göster

# pip install ftfy
import torch
from diffusers import WanPipeline, WanTransformer3DModel, AutoencoderKLWan

vae = AutoencoderKLWan.from_single_file(
    "https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/blob/main/split_files/vae/wan_2.1_vae.safetensors"
)
transformer = WanTransformer3DModel.from_single_file(
    "https://huggingface.co/Comfy-Org/Wan_2.1_ComfyUI_repackaged/blob/main/split_files/diffusion_models/wan2.1_t2v_1.3B_bf16.safetensors",
    dtype=torch.bfloat16
)
pipeline = WanPipeline.from_pretrained(
    "Wan-AI/Wan2.1-T2V-1.3B-Diffusers",
    vae=vae,
    transformer=transformer,
    dtype=torch.bfloat16
)

Daha iyi çözme kalitesi için AutoencoderKLWan veri türünü torch.float32 olarak ayarlayın.
Saniyedeki kare sayısı (fps) veya k, 4 * k + 1 ile hesaplanmalıdır.
Düşük çözünürlüklü videolar için daha düşük shift değerlerini (2.0 ile 5.0 arası) ve yüksek çözünürlüklü görüntüler için daha yüksek shift değerlerini (7.0 ile 12.0 arası) deneyin.
Wan 2.1 ve 2.2, çıkarımı hızlandırmak için LightX2V LoRAs kullanımını destekler. Bunların Wan 2.2 üzerinde kullanımı biraz daha karmaşıktır. Daha fazla bilgi için bu kod parçasına bakın.
Wan 2.2 iki gürültü azaltıcıya (denoiser) sahiptir. Varsayılan olarak LoRA'lar yalnızca ilk gürültü azaltıcıya yüklenir. LoRA'ları ikinci gürültü azaltıcıya yüklemek için load_into_transformer_2=True değerini ayarlayabilirsiniz. Daha fazla bilgi için bu ve bu örneklerine bakın.

Diffusers

Wan

Metinden Video Üretimi

İlk-Son-Kare-Video Üretimi

Herhangi-Videoya Kontrol Edilebilir Üretim

Wan-Animate: Bütüncül Kopyalama ile Birleşik Karakter Animasyonu ve Değiştirme

Kullanım

Ön koşullar

Önemli Parametreler

Notlar

WanPipeline

sınıf diffusers.WanPipeline

__call__

encode_prompt

WanImageToVideoPipeline

sınıf diffusers.WanImageToVideoPipeline

__call__

encode_prompt

WanVACEPipeline

sınıf diffusers.WanVACEPipeline

__call__

encode_prompt

WanVideoToVideoPipeline

sınıf diffusers.WanVideoToVideoPipeline

__call__

encode_prompt

WanAnimatePipeline

sınıf diffusers.WanAnimatePipeline

__call__

encode_prompt

pad_video_frames

WanPipelineOutput

sınıf diffusers.pipelines.wan.pipeline_output.WanPipelineOutput

call

call

call

call

call