Hugging Face's logo

Diffusers documentation

JoyImageEditPlusTransformer3DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

JoyImageEditPlusTransformer3DModel

Model, aşağıdaki kod parçasıyla yüklenebilir.

from diffusers import JoyImageEditPlusTransformer3DModel

transformer = JoyImageEditPlusTransformer3DModel.from_pretrained("jdopensource/JoyAI-Image-Edit-Plus-Diffusers", subfolder="transformer", dtype=torch.bfloat16)

JoyImageEditPlusTransformer3DModel

sınıf diffusers.JoyImageEditPlusTransformer3DModel

< >

( patch_size: list = [1, 2, 2]in_channels: int = 16out_channels: int | None = Nonehidden_size: int = 3072num_attention_heads: int = 24text_dim: int = 4096mlp_width_ratio: float = 4.0num_layers: int = 20rope_dim_list: list = [16, 56, 56]rope_type: str = 'rope'theta: int = 256 )

Parametreler

  • patch_size (list, varsayılan [1, 2, 2]) — Latent girdinin (t, h, w) boyutları boyunca parçalanması için parça boyutu.
  • in_channels (int, varsayılan 16) — Girdi latentindeki kanal sayısı.
  • out_channels (int, isteğe bağlı, varsayılan None) — Çıktıdaki kanal sayısı. Belirtilmezse, varsayılan olarak in_channels değerini alır.
  • hidden_size (int, varsayılan 3072) — Gizli temsillerin boyutluluğu.
  • num_attention_heads (int, varsayılan 24) — Dikkat başlarının sayısı.
  • text_dim (int, varsayılan 4096) — Metin kodlayıcısının çıktısının boyutluluğu.
  • mlp_width_ratio (float, varsayılan 4.0) — MLP gizli boyutunun hidden_size değerine oranı.
  • num_layers (int, varsayılan 20) — Çift akışlı dönüştürücü bloklarının sayısı.
  • rope_dim_list (list[int], varsayılan [16, 56, 56]) — (t, h, w) eksenleri boyunca 3B döner konumsal gömme boyutları.
  • rope_type (str, varsayılan "rope") — Döner konumsal gömme türü.
  • theta (int, varsayılan 256) — Döner gömme (rotary embeddings) için temel frekans.

Çoklu görüntü düzenleme için JoyImage Edit Plus Transformer.

Her referans görüntü ve hedef gürültünün bağımsız olarak yama (patch) haline getirilip düz bir yama dizisine birleştirildiği bir patchify+padding yaklaşımı kullanır. Değişken çözünürlüklü referans görüntüleri destekler.

Girdi biçimi: [B, max_patches, C, pt, ph, pw] (6B dolgulu yamalar).

forward

< >

( hidden_states: Tensortimestep: Tensorencoder_hidden_states: Tensorencoder_hidden_states_mask: typing.Optional[torch.Tensor] = Noneshape_list: list = Nonereturn_dict: bool = True )

Parametreler

  • hidden_states — [B, max_patches, C, pt, ph, pw] - patch'lenmiş latent girdi.
  • timestep — [B] - difüzyon zaman adımı.
  • encoder_hidden_states — [B, L, D] - metin kodlayıcı çıktıları.
  • encoder_hidden_states_mask — [B, L] - metin jetonları için dikkat maskesi.
  • shape_list — Her örnek için her bileşen (hedef + referanslar) için (t, h, w) demetlerinin listesi.
  • return_dict — Bir sözlük (dict) mi yoksa demet (tuple) mi döndürüleceğini belirtir.

Transformer2DModelOutput

sınıf diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parametreler

  • sample (torch.Tensor, şekli (batch_size, num_channels, height, width) veya Transformer2DModel ayrık (discrete) ise (batch size, num_vector_embeds - 1, num_latent_pixels)) — encoder_hidden_states girdisine koşullu gizli durum (hidden states) çıktısı. Ayrık (discrete) ise, gürültüsü kaldırılmış (unnoised) gizli (latent) pikseller için olasılık dağıtımlarını döndürür.

Transformer2DModel'nin çıktısı.

Update on GitHub

←Ideogram4Transformer2DModel JoyImageEditTransformer3DModel→