Diffusers documentation
SanaTransformer2DModel
SanaTransformer2DModel
Un modèle Diffusion Transformer pour des données 2D issu de SANA: Efficient High-Resolution Image Synthesis with Linear Diffusion Transformers a été introduit par NVIDIA et le MIT HAN Lab, par Enze Xie, Junsong Chen, Junyu Chen, Han Cai, Haotian Tang, Yujun Lin, Zhekai Zhang, Muyang Li, Ligeng Zhu, Yao Lu, Song Han.
L'abstract de l'article est :
Nous présentons Sana, un cadre de génération d'images à partir de texte capable de générer efficacement des images jusqu'à une résolution de 4096×4096. Sana peut synthétiser des images haute résolution et de haute qualité, avec un alignement texte-image solide, à une vitesse remarquablement rapide, et peut être déployé sur le GPU d'un ordinateur portable. Les conceptions principales incluent : (1) Auto-encodeur à compression profonde : contrairement aux AE traditionnels, qui ne compresse les images que 8×, nous avons entraîné un AE capable de compresser les images 32×, réduisant ainsi efficacement le nombre de jetons latents. (2) DiT linéaire : nous remplaçons toute l'attention vanilla dans DiT par une attention linéaire, plus efficace à haute résolution sans sacrifier la qualité. (3) Encodeur de texte uniquement décodeur : nous avons remplacé T5 par un petit LLM moderne uniquement décodeur en tant qu'encodeur de texte, et avons conçu des instructions humaines complexes avec l'apprentissage en contexte pour améliorer l'alignement texte-image. (4) Entraînement et échantillonnage efficaces : nous proposons Flow-DPM-Solver pour réduire le nombre d'étapes d'échantillonnage, avec un étiquetage et une sélection de légendes efficaces pour accélérer la convergence. En conséquence, Sana-0.6B est très compétitif par rapport aux modèles de diffusion géants modernes (par exemple Flux-12B), étant 20 fois plus petit et plus de 100 fois plus rapide en débit mesuré. De plus, Sana-0.6B peut être déployé sur un GPU d'ordinateur portable de 16 Go, prenant moins d'une seconde pour générer une image en résolution 1024×1024. Sana permet la création de contenu à faible coût. Le code et le modèle seront publiés.
Le modèle peut être chargé à l'aide du fragment de code suivant.
from diffusers import SanaTransformer2DModel
transformer = SanaTransformer2DModel.from_pretrained("Efficient-Large-Model/Sana_1600M_1024px_BF16_diffusers", subfolder="transformer", dtype=torch.bfloat16)SanaTransformer2DModel
classe diffusers.SanaTransformer2DModel
< source >( in_channels: int = 32out_channels: int | None = 32num_attention_heads: int = 70attention_head_dim: int = 32num_layers: int = 20num_cross_attention_heads: int | None = 20cross_attention_head_dim: int | None = 112cross_attention_dim: int | None = 2240caption_channels: int = 2304mlp_ratio: float = 2.5dropout: float = 0.0attention_bias: bool = Falsesample_size: int = 32patch_size: int = 1norm_elementwise_affine: bool = Falsenorm_eps: float = 1e-06interpolation_scale: int | None = Noneguidance_embeds: bool = Falseguidance_embeds_scale: float = 0.1qk_norm: str | None = Nonetimestep_scale: float = 1.0 )
Paramètres
- in_channels (
int, par défaut32) — Le nombre de canaux dans l'entrée. - out_channels (
int, facultatif, par défaut32) — Le nombre de canaux dans la sortie. - num_attention_heads (
int, par défaut70) — Le nombre de têtes à utiliser pour l'attention multi-têtes. - attention_head_dim (
int, par défaut32) — Le nombre de canaux dans chaque tête. - num_layers (
int, par défaut20) — Le nombre de blocs Transformer à utiliser. - num_cross_attention_heads (
int, facultatif, valeur par défaut20) — Le nombre de têtes à utiliser pour l'attention croisée. - cross_attention_head_dim (
int, facultatif, valeur par défaut112) — Le nombre de canaux par tête pour l'attention croisée. - cross_attention_dim (
int, facultatif, valeur par défaut2240) — Le nombre de canaux dans la sortie de l'attention croisée. - caption_channels (
int, par défaut2304) — Le nombre de canaux dans les embeddings de légende. - mlp_ratio (
float, par défaut2.5) — Le ratio d'expansion à utiliser dans la couche GLUMBConv. - dropout (
float, par défaut0.0) — La probabilité de dropout. - attention_bias (
bool, par défautFalse) — Indique s'il faut utiliser un biais dans la couche d'attention. - sample_size (
int, par défaut32) — La taille de base du latent d'entrée. - patch_size (
int, par défaut1) — La taille des patches à utiliser dans la couche d'embedding de patches. - norm_elementwise_affine (
bool, par défautFalse) — Indique s'il faut utiliser l'affinité élément par élément dans la couche de normalisation. - norm_eps (
float, par défaut1e-6) — La valeur epsilon pour la couche de normalisation. - qk_norm (
str, facultatif, par défautNone) — La normalisation à utiliser pour la requête et la clé. - timestep_scale (
float, par défaut1.0) — L'échelle à utiliser pour les timesteps.
Un modèle Transformer 2D introduit dans la famille de modèles Sana.
forward
< source >( hidden_states: Tensorencoder_hidden_states: Tensortimestep: Tensorguidance: typing.Optional[torch.Tensor] = Noneencoder_attention_mask: typing.Optional[torch.Tensor] = Noneattention_mask: typing.Optional[torch.Tensor] = Noneattention_kwargs: dict[str, typing.Any] | None = Nonecontrolnet_block_samples: tuple[torch.Tensor] | None = Nonereturn_dict: bool = True )
Paramètres
- hidden_states (
torch.Tensorde forme(batch_size, in_channels, height, width)) —hidden_statesd'entrée. - encoder_hidden_states (
torch.Tensorde forme(batch_size, sequence_len, embed_dims)) — Embeddings conditionnels (embeddings calculés à partir des conditions d’entrée telles que les prompts) à utiliser. - timestep (
torch.LongTensor) — Utilisé pour indiquer l'étape de débruitage. - guidance (
torch.Tensor, optional) — Guidance scale embedding. - encoder_attention_mask (
torch.Tensor, facultatif) — Masque d'attention croisée appliqué àencoder_hidden_states. - attention_mask (
torch.Tensor, facultatif) — Masque d'auto-attention appliqué àhidden_states. - attention_kwargs (
dict, facultatif) — Un dictionnaire de kwargs qui, s'il est spécifié, est transmis à l'AttentionProcessordéfini sousself.processordans diffusers.models.attention_processor. - controlnet_block_samples (
tupledetorch.Tensor, facultatif) — Une liste de tenseurs qui, si elle est spécifiée, est ajoutée aux résidus des blocs du transformer. - return_dict (
bool, facultatif, par défautTrue) — Indique s'il faut retourner un~models.transformer_2d.Transformer2DModelOutputplutôt qu'un simple tuple.
La méthode forward du SanaTransformer2DModel.
Transformer2DModelOutput
classe diffusers.models.modeling_outputs.Transformer2DModelOutput
< source >( sample: torch.Tensor )
Paramètres
- sample (
torch.Tensorde forme(batch_size, num_channels, height, width)ou(batch size, num_vector_embeds - 1, num_latent_pixels)si Transformer2DModel est discret) — Les états cachés en sortie, conditionnés par l'entréeencoder_hidden_states. Si discret, renvoie les distributions de probabilité pour les pixels latents non bruités.
La sortie de Transformer2DModel.