Hugging Face's logo

Diffusers documentation

ZImageTransformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

ZImageTransformer2DModel

Z-Image의 이미지형 데이터용 Transformer 모델입니다.

ZImageTransformer2DModel

클래스 diffusers.ZImageTransformer2DModel

< >

( all_patch_size = (2,)all_f_patch_size = (1,)in_channels = 16dim = 3840n_layers = 30n_refiner_layers = 2n_heads = 30n_kv_heads = 30norm_eps = 1e-05qk_norm = Truecap_feat_dim = 2560siglip_feat_dim = Nonerope_theta = 256.0t_scale = 1000.0axes_dims = [32, 48, 48]axes_lens = [1024, 512, 512] )

forward

< >

( x: listtcap_feats: listreturn_dict: bool = Truecontrolnet_block_samples: dict[int, torch.Tensor] | None = Nonesiglip_feats: list[list[torch.Tensor]] | None = Noneimage_noise_mask: list[list[int]] | None = Nonepatch_size: int = 2f_patch_size: int = 1joint_attention_kwargs: dict[str, typing.Any] | None = None )

매개변수

  • x (list of torch.Tensor 또는 torch.Tensor의 중첩된 list) — 입력 latents입니다. 표준 모드에서 실행할 때는 평탄한 리스트, omni 모드에서 실행할 때는 중첩 리스트입니다.
  • t (torch.Tensor) — 노이즈 제거 단계를 나타내는 데 사용됩니다.
  • cap_feats (list of torch.Tensor or nested list of torch.Tensor) — 사용할 조건부 캡션 임베딩(프롬프트와 같은 입력 조건에서 계산된 임베딩).
  • return_dict (bool, 선택 사항, 기본값 True) — 단순 tuple 대신 ~models.transformer_2d.Transformer2DModelOutput를 반환할지 여부.
  • controlnet_block_samples (dict of int to torch.Tensor, 선택 사항) — 블록 인덱스에서 텐서로 매핑되며, 지정된 경우 transformer 블록의 잔차에 추가됩니다.
  • siglip_feats (list of list of torch.Tensor, 선택 사항) — 추가 조건으로 사용되는 선택적 SigLIP 이미지 특징입니다.
  • image_noise_mask (list of list of int, 선택 사항) — omni 모드에서 노이즈 토큰과 클린 토큰을 나타내는 이미지별 노이즈 마스크입니다.
  • patch_size (int, 선택 사항, 기본값 2) — 입력 latents를 patchify하는 데 사용되는 공간 patch 크기입니다.
  • f_patch_size (int, 선택 사항, 기본값 1) — 입력 latents를 patchify하는 데 사용되는 시간적 patch 크기입니다.
  • joint_attention_kwargs (dict, 선택 사항) — kwargs 사전입니다. LoRA 레이어를 스케일링하기 위해 scale 항목만 사용됩니다.

ZImageTransformer2DModel의 forward 메서드입니다.

Flow: patchify -> t_embed -> x_embed -> x_refine -> cap_embed -> cap_refine -> [siglip_embed -> siglip_refine] -> build_unified -> main_layers -> final_layer -> unpatchify

patchify_and_embed

< >

( all_image: listall_cap_feats: listpatch_size: intf_patch_size: int )

기본 모드용 Patchify: 배치 항목당 단일 이미지.

patchify_and_embed_omni

< >

( all_x: listall_cap_feats: listall_siglip_feats: listpatch_size: intf_patch_size: intimages_noise_mask: list )

omni 모드용 Patchify: 노이즈 마스크를 가진 배치 항목당 여러 이미지.

Update on GitHub

←WanTransformer3DModel StableCascadeUNet→