Diffusers documentation

BriaFibo2Transformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

BriaFibo2Transformer2DModel

Transformer single-stream dari Fibo 2.0 milik Bria, dibangun di atas blok Z-Image. Kondisioning teksnya berasal dari Qwen3-VL melalui dua cara: Perceiver resampler mengubah hidden states dari text encoder menjadi gist tokens yang berbagi stream dengan image tokens, dan lima blok menambahkan gated cross-attention ke bundle lapisan Qwen3-VL mereka sendiri. Untuk melakukan edit, latents dari gambar yang akan diedit bergabung ke dalam stream sebagai clean tokens, dengan masing-masing gambar berada di bidang RoPE-nya sendiri.

BriaFibo2Transformer2DModel

kelas diffusers.BriaFibo2Transformer2DModel

< >

( in_channels: int = 32patch_size: int = 2dim: int = 3584n_layers: int = 44n_refiner_layers: int = 2n_heads: int = 28norm_eps: float = 1e-05cap_feat_dim: int = 7680injection_layer_ids: tuple = (6, 14, 22, 30, 38)perceiver_num_layers: int = 2min_num_gist_tokens: int = 256max_num_gist_tokens: int = 512gist_step: int = 64gist_min_text_len: int = 256gist_max_text_len: int = 2048rope_theta: float = 256.0t_scale: float = 1000.0axes_dims: tuple = (32, 48, 48)axes_lens: tuple = (2048, 512, 512) )

forward

< >

( hidden_states: Tensortimestep: Tensorencoder_hidden_states: Tensorencoder_attention_mask: typing.Optional[torch.Tensor] = Nonecontext_latents: list[torch.Tensor] | None = Nonereturn_dict: bool = True ) → Transformer2DModelOutput or tuple

Parameter

  • hidden_states (torch.Tensor dengan bentuk (batch_size, in_channels, height, width)) — Latent VAE ternormalisasi dari gambar yang sedang dibuat.
  • timestep (torch.Tensor dengan bentuk (batch_size,)) — Tingkat noise dalam [0, 1]: 1 adalah noise murni, 0 adalah gambar bersih.
  • encoder_hidden_states (torch.Tensor dengan bentuk (batch_size, 1 + len(injection_layer_ids), text_len, cap_feat_dim)) — Fitur encoder teks: bundle Perceiver terlebih dahulu, kemudian satu bundle per blok injeksi.
  • encoder_attention_mask (torch.Tensor dengan bentuk (batch_size, text_len), opsional) — Mask bool untuk token teks asli, untuk batch prompt yang di-pad hingga panjang yang sama. Biarkan sebagai None jika tidak ada yang di-pad.
  • context_latents (list[torch.Tensor], opsional) — Latent VAE ternormalisasi dari gambar yang akan diedit, satu tensor dengan bentuk (batch_size, in_channels, height, width) per gambar, sesuai urutannya. Setiap gambar dapat memiliki ukuran sendiri. Token-token mereka mengondisikan generasi sebagai token bersih dan tidak diprediksi.
  • return_dict (bool, defaultnya True) — Apakah akan mengembalikan Transformer2DModelOutput alih-alih tuple.

Mengembalikan

Transformer2DModelOutput atau tuple

Kecepatan yang diprediksi, dengan bentuk hidden_states. Jika return_dict adalah False, sebuah tuple yang elemen pertamanya adalah tensor tersebut.

Update on GitHub