Hugging Face's logo

Diffusers documentation

Flux2Transformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Flux2Transformer2DModel

Flux2'den görüntü benzeri veriler için bir Transformer modeli.

Flux2Transformer2DModel

sınıf diffusers.Flux2Transformer2DModel

< >

( patch_size: int = 1in_channels: int = 128out_channels: int | None = Nonenum_layers: int = 8num_single_layers: int = 48attention_head_dim: int = 128num_attention_heads: int = 48joint_attention_dim: int = 15360timestep_guidance_channels: int = 256mlp_ratio: float = 3.0axes_dims_rope: tuple = (32, 32, 32, 32)rope_theta: int = 2000eps: float = 1e-06guidance_embeds: bool = True )

Parametreler

  • patch_size (int, varsayılan 1) — Girdi verisini küçük yamalar (patch) haline getirmek için yama boyutu.
  • in_channels (int, varsayılan 128) — Girdideki kanal sayısı.
  • out_channels (int, isteğe bağlı, varsayılan None) — Çıktıdaki kanal sayısı. Belirtilmezse, varsayılan olarak in_channels değerini alır.
  • num_layers (int, varsayılan 8) — Kullanılacak çift akışlı DiT bloklarının katman sayısı.
  • num_single_layers (int, varsayılan 48) — Kullanılacak tek akışlı DiT bloklarının katman sayısı.
  • attention_head_dim (int, varsayılan 128) — Her dikkat başlığı için kullanılacak boyut sayısı.
  • num_attention_heads (int, varsayılan 48) — Kullanılacak dikkat başı sayısı.
  • joint_attention_dim (int, varsayılan 15360) — Ortak dikkat için kullanılacak boyut sayısı (encoder_hidden_states'in gömme/kanal boyutu).
  • pooled_projection_dim (int, varsayılan 768) — Birleştirilmiş projeksiyon için kullanılacak boyut sayısı.
  • guidance_embeds (bool, varsayılan True) — Modelin rehberlik damıtılmış varyantı için rehberlik gömme (embedding) kullanılıp kullanılmayacağı.
  • axes_dims_rope (tuple[int], varsayılan (32, 32, 32, 32)) — Döner konumsal gömme (rotary positional embeddings) için kullanılacak boyutlar.

Flux 2'de tanıtılan Transformer modeli.

Referans: https://blackforestlabs.ai/announcing-black-forest-labs/

forward

< >

( hidden_states: Tensorencoder_hidden_states: Tensor = Nonetimestep: LongTensor = Noneimg_ids: Tensor = Nonetxt_ids: Tensor = Noneguidance: Tensor = Nonejoint_attention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = Truekv_cache: Flux2KVCache | None = Nonekv_cache_mode: str | None = Nonenum_ref_tokens: int = 0ref_fixed_timestep: float = 0.0 )

Parametreler

  • hidden_states (torch.Tensor, şekli (batch_size, image_sequence_length, in_channels)) — Girdi hidden_states.
  • encoder_hidden_states (torch.Tensor, şekli (batch_size, text_sequence_length, joint_attention_dim)) — Kullanılacak koşullu gömme değerleri (istekler gibi girdi koşullarından hesaplanan gömme değerleri).
  • timestep (torch.LongTensor) — Gürültü azaltma adımını belirtmek için kullanılır.
  • img_ids (torch.Tensor) — Döner konumsal gömme hesaplamalarında kullanılan görüntü konum kimlikleri.
  • txt_ids (torch.Tensor) — Döner konumsal gömme hesaplamalarında kullanılan metin konum kimlikleri.
  • guidance (torch.Tensor, isteğe bağlı) — Modelin guidance-distilled varyantları için kullanılan guidance ölçek gömme değeri.
  • joint_attention_kwargs (dict, isteğe bağlı) — Belirtilirse, diffusers.models.attention_processor içindeki self.processor altında tanımlanan AttentionProcessor'a iletilen bir kwargs sözlüğü.
  • return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.transformer_2d.Transformer2DModelOutput döndürülüp döndürülmemesi.
  • kv_cache (Flux2KVCache, isteğe bağlı) — Referans görüntü jetonları için KV önbelleği. kv_cache_mode “extract” olduğunda, yeni bir önbellek oluşturulur ve döndürülür. “cached” olduğunda, sağlanan önbellek, dikkat sırasında ref K/V enjeksiyonu için kullanılır.
  • kv_cache_mode (str, isteğe bağlı) — “extract” (ref token'larla ilk adım) veya “cached” (önbelleğe alınmış ref K/V ile sonraki adımlar) değerlerinden biri. None olduğunda, KV önbellekleme olmadan standart ileri geçiş yapılır.
  • num_ref_tokens (int, varsayılan 0) — hidden_states'in başına eklenen referans görüntü belirteçlerinin sayısı (yalnızca kv_cache_mode="extract" kullanıldığında geçerlidir).
  • ref_fixed_timestep (float, varsayılan 0.0) — Referans token modülasyonu için sabit zaman adımı (yalnızca kv_cache_mode="extract" kullanıldığında geçerlidir).

Flux2Transformer2DModel ileri yöntemi.

Flux2Transformer2DModelOutput

sınıf diffusers.models.transformers.transformer_flux2.Flux2Transformer2DModelOutput

< >

( sample: torch.Tensorkv_cache: Flux2KVCache | None = None )

Parametreler

  • sample (torch.Tensor, şekli (batch_size, num_channels, height, width)) — encoder_hidden_states girdisine koşullu olarak üretilen gizli durum çıktısı.
  • kv_cache (Flux2KVCache, isteğe bağlı) — Referans görüntü jetonları için doldurulmuş KV önbelleği. Yalnızca kv_cache_mode="extract" olduğunda döndürülür.

Flux2Transformer2DModel'nin çıktısı.

Update on GitHub

←ErnieImageTransformer2DModel Flux3Transformer2DModel→