Diffusers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

ZImageTransformer2DModel

Un modèle Transformer pour des données de type image de Z-Image.

ZImageTransformer2DModel

classe diffusers.ZImageTransformer2DModel

< source >

( all_patch_size = (2,)all_f_patch_size = (1,)in_channels = 16dim = 3840n_layers = 30n_refiner_layers = 2n_heads = 30n_kv_heads = 30norm_eps = 1e-05qk_norm = Truecap_feat_dim = 2560siglip_feat_dim = Nonerope_theta = 256.0t_scale = 1000.0axes_dims = [32, 48, 48]axes_lens = [1024, 512, 512] )

forward

< source >

( x: listtcap_feats: listreturn_dict: bool = Truecontrolnet_block_samples: dict[int, torch.Tensor] | None = Nonesiglip_feats: list[list[torch.Tensor]] | None = Noneimage_noise_mask: list[list[int]] | None = Nonepatch_size: int = 2f_patch_size: int = 1joint_attention_kwargs: dict[str, typing.Any] | None = None )

Paramètres

x (list de torch.Tensor ou list imbriquée de torch.Tensor) — Latents d'entrée. Une liste plate en mode standard, ou une liste imbriquée en mode omni.
t (torch.Tensor) — Utilisé pour indiquer l'étape de débruitage.
cap_feats (list de torch.Tensor ou list imbriquée de torch.Tensor) — Embeddings de légendes conditionnelles (embeddings calculés à partir des conditions d’entrée telles que les prompts) à utiliser.
return_dict (bool, facultatif, par défaut True) — Indique s'il faut retourner un ~models.transformer_2d.Transformer2DModelOutput plutôt qu'un simple tuple.
controlnet_block_samples (dict de int vers torch.Tensor, facultatif) — Un mappage de l’indice de bloc vers un tenseur qui, s’il est spécifié, est ajouté aux résidus des blocs du transformeur.
siglip_feats (list de list de torch.Tensor, facultatif) — Fonctions d’image SigLIP facultatives utilisées comme conditionnement supplémentaire.
image_noise_mask (list de list de int, facultatif) — Masques de bruit par image indiquant les jetons bruités par rapport aux jetons propres en mode omni.
patch_size (int, facultatif, valeur par défaut 2) — Taille spatiale des patches utilisée pour patchifier les latents d'entrée.
f_patch_size (int, facultatif, valeur par défaut 1) — Taille du patch temporel utilisée pour patchifier les latents d'entrée.
joint_attention_kwargs (dict, facultatif) — Dictionnaire de kwargs. Seule l’entrée scale est utilisée, pour mettre à l’échelle les couches LoRA.

La méthode forward du ZImageTransformer2DModel.

Flux : patchify -> t_embed -> x_embed -> x_refine -> cap_embed -> cap_refine -> [siglip_embed -> siglip_refine] -> build_unified -> main_layers -> final_layer -> unpatchify

patchify_and_embed

< source >

( all_image: listall_cap_feats: listpatch_size: intf_patch_size: int )

Patchify pour le mode de base : une seule image par élément du lot.

patchify_and_embed_omni

< source >

( all_x: listall_cap_feats: listall_siglip_feats: listpatch_size: intf_patch_size: intimages_noise_mask: list )

Patchify pour le mode omni : plusieurs images par élément de lot avec des masques de bruit.

Update on GitHub

←WanTransformer3DModel StableCascadeUNet→