Diffusers documentation
ZImageTransformer2DModel
ZImageTransformer2DModel
Un modelo Transformer para datos similares a imágenes de Z-Image.
ZImageTransformer2DModel
clase diffusers.ZImageTransformer2DModel
< source >( all_patch_size = (2,)all_f_patch_size = (1,)in_channels = 16dim = 3840n_layers = 30n_refiner_layers = 2n_heads = 30n_kv_heads = 30norm_eps = 1e-05qk_norm = Truecap_feat_dim = 2560siglip_feat_dim = Nonerope_theta = 256.0t_scale = 1000.0axes_dims = [32, 48, 48]axes_lens = [1024, 512, 512] )
forward
< source >( x: listtcap_feats: listreturn_dict: bool = Truecontrolnet_block_samples: dict[int, torch.Tensor] | None = Nonesiglip_feats: list[list[torch.Tensor]] | None = Noneimage_noise_mask: list[list[int]] | None = Nonepatch_size: int = 2f_patch_size: int = 1joint_attention_kwargs: dict[str, typing.Any] | None = None )
Parámetros
- x (
listdetorch.Tensorolistanidada detorch.Tensor) — Latentes de entrada. Una lista plana al ejecutar en modo estándar, o una lista anidada al ejecutar en modo omni. - t (
torch.Tensor) — Se utiliza para indicar el paso de desruido. - cap_feats (
listdetorch.Tensorolistanidada detorch.Tensor) — Embeddings de subtítulos condicionales (embeddings calculados a partir de las condiciones de entrada, como los prompts) a utilizar. - return_dict (
bool, opcional, valor predeterminadoTrue) — Indica si se debe devolver un~models.transformer_2d.Transformer2DModelOutputen lugar de una tupla simple. - controlnet_block_samples (
dictdeintatorch.Tensor, opcional) — Un mapeo de índice de bloque a tensor que, si se especifica, se suma a los residuos de los bloques del transformer. - siglip_feats (
listdelistdetorch.Tensor, opcional) — Características de imagen SigLIP opcionales utilizadas como condicionamiento adicional. - image_noise_mask (
listdelistdeint, opcional) — Máscaras de ruido por imagen que indican los tokens ruidosos frente a los limpios en el modo omni. - patch_size (
int, opcional, valor predeterminado 2) — Tamaño de parche espacial utilizado para aplicar patchify a los latentes de entrada. - f_patch_size (
int, opcional, valor predeterminado 1) — Tamaño de parche temporal utilizado para aplicar patchify a los latentes de entrada. - joint_attention_kwargs (
dict, opcional) — Un diccionario de kwargs. Solo se utiliza la entradascale, para escalar las capas LoRA.
El método forward de ZImageTransformer2DModel.
Flujo: patchify -> t_embed -> x_embed -> x_refine -> cap_embed -> cap_refine -> [siglip_embed -> siglip_refine] -> build_unified -> main_layers -> final_layer -> unpatchify
patchify_and_embed
< source >( all_image: listall_cap_feats: listpatch_size: intf_patch_size: int )
Patchify para el modo básico: una imagen por elemento del lote.
patchify_and_embed_omni
< source >( all_x: listall_cap_feats: listall_siglip_feats: listpatch_size: intf_patch_size: intimages_noise_mask: list )
Patchify para el modo omni: múltiples imágenes por elemento del lote con máscaras de ruido.