Hugging Face's logo

Diffusers documentation

BriaTransformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

BriaTransformer2DModel

Un modèle Transformer de flux modifié de Bria

BriaTransformer2DModel

classe diffusers.BriaTransformer2DModel

< >

( patch_size: int = 1in_channels: int = 64num_layers: int = 19num_single_layers: int = 38attention_head_dim: int = 128num_attention_heads: int = 24joint_attention_dim: int = 4096pooled_projection_dim: int = Noneguidance_embeds: bool = Falseaxes_dims_rope: list = [16, 56, 56]rope_theta = 10000time_theta = 10000 )

Paramètres

  • patch_size (int) — Taille des patches pour découper les données d'entrée en petits patches.
  • in_channels (int, facultatif, valeur par défaut 16) — Le nombre de canaux de l'entrée.
  • num_layers (int, facultatif, valeur par défaut 18) — Le nombre de blocs MMDiT à utiliser.
  • num_single_layers (int, facultatif, valeur par défaut 18) — Le nombre de blocs DiT simples à utiliser.
  • attention_head_dim (int, facultatif, valeur par défaut : 64) — Le nombre de canaux dans chaque tête.
  • num_attention_heads (int, facultatif, valeur par défaut 18) — Le nombre de têtes à utiliser pour l'attention multi-têtes.
  • joint_attention_dim (int, facultatif) — Le nombre de dimensions de encoder_hidden_states à utiliser.
  • pooled_projection_dim (int) — Nombre de dimensions à utiliser lors de la projection des pooled_projections.
  • guidance_embeds (bool, par défaut False) — Indique s'il faut utiliser des embeddings de guidance.

Le modèle Transformer introduit dans Flux. Basé sur FluxPipeline avec plusieurs modifications :

forward

< >

( hidden_states: Tensorencoder_hidden_states: Tensor = Nonepooled_projections: Tensor = Nonetimestep: LongTensor = Noneimg_ids: Tensor = Nonetxt_ids: Tensor = Noneguidance: Tensor = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = Truecontrolnet_block_samples = Nonecontrolnet_single_block_samples = None )

Paramètres

  • hidden_states (torch.FloatTensor de forme (batch size, channel, height, width)) — hidden_states d'entrée.
  • encoder_hidden_states (torch.FloatTensor de forme (batch size, sequence_len, embed_dims)) — Embeddings conditionnels (embeddings calculés à partir des conditions d’entrée telles que les prompts) à utiliser.
  • pooled_projections (torch.FloatTensor de forme (batch_size, projection_dim)) — Projections des embeddings issus des embeddings des conditions d'entrée.
  • timestep ( torch.LongTensor) — Utilisé pour indiquer l'étape de débruitage.
  • img_ids (torch.Tensor) — Identifiants de position des images utilisés pour calculer les embeddings positionnels rotatifs.
  • txt_ids (torch.Tensor) — Identifiants de position du texte utilisés pour calculer les embeddings positionnels rotatifs.
  • guidance (torch.Tensor, optional) — Guidance scale embedding used for guidance-distilled variants of the model.
  • controlnet_block_samples (list de torch.Tensor, facultatif) — Une liste de tenseurs qui, si elle est spécifiée, est ajoutée aux résidus des blocs du transformeur.
  • controlnet_single_block_samples (list de torch.Tensor, facultatif) — Une liste de tenseurs qui, si elle est spécifiée, est ajoutée aux résidus des blocs de transformeur individuels.
  • attention_kwargs (dict, facultatif) — Un dictionnaire de kwargs qui, s'il est spécifié, est transmis à l'AttentionProcessor défini sous self.processor dans diffusers.models.attention_processor.
  • return_dict (bool, facultatif, par défaut True) — Indique s'il faut retourner un ~models.transformer_2d.Transformer2DModelOutput plutôt qu'un simple tuple.

La méthode forward du BriaTransformer2DModel.

Update on GitHub

←BriaFiboTransformer2DModel ChromaTransformer2DModel→