Hugging Face's logo

Diffusers documentation

CogView3PlusTransformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

CogView3PlusTransformer2DModel

Model Diffusion Transformer untuk data 2D dari CogView3Plus diperkenalkan dalam CogView3: Finer and Faster Text-to-Image Generation via Relay Diffusion oleh Tsinghua University & ZhipuAI.

Model dapat dimuat dengan potongan kode berikut.

from diffusers import CogView3PlusTransformer2DModel

transformer = CogView3PlusTransformer2DModel.from_pretrained("THUDM/CogView3Plus-3b", subfolder="transformer", dtype=torch.bfloat16).to("cuda")  # or "mps", "xpu", "cpu"

CogView3PlusTransformer2DModel

kelas diffusers.CogView3PlusTransformer2DModel

< >

( patch_size: int = 2in_channels: int = 16num_layers: int = 30attention_head_dim: int = 40num_attention_heads: int = 64out_channels: int = 16text_embed_dim: int = 4096time_embed_dim: int = 512condition_dim: int = 256pos_embed_max_size: int = 128sample_size: int = 128 )

Parameter

  • patch_size (int, defaultnya 2) — Ukuran patch yang akan digunakan di lapisan patch embedding.
  • in_channels (int, defaultnya 16) — Jumlah channel pada input.
  • num_layers (int, defaultnya 30) — Jumlah lapisan blok Transformer yang akan digunakan.
  • attention_head_dim (int, defaultnya 40) — Jumlah saluran di setiap head.
  • num_attention_heads (int, defaultnya 64) — Jumlah head yang digunakan untuk multi-head attention.
  • out_channels (int, defaultnya 16) — Jumlah channel pada output.
  • text_embed_dim (int, defaultnya 4096) — Dimensi input dari text embeddings yang berasal dari text encoder.
  • time_embed_dim (int, defaultnya 512) — Dimensi output dari embedding timestep.
  • condition_dim (int, defaultnya 256) — Dimensi embedding dari kondisi resolusi gaya SDXL pada input (original_size, target_size, crop_coords).
  • pos_embed_max_size (int, defaultnya 128) — Resolusi maksimum dari positional embeddings, yang diambil potongannya dengan bentuk H x W dan ditambahkan ke latents patched input, di mana H dan W masing-masing adalah tinggi dan lebar latents. Nilai 128 berarti bahwa tinggi dan lebar maksimum yang didukung untuk generasi gambar adalah 128 * vae_scale_factor * patch_size => 128 * 8 * 2 => 2048.
  • sample_size (int, defaultnya 128) — Resolusi dasar dari latens input. Jika tinggi/lebar tidak diberikan saat generasi, nilai ini digunakan untuk menentukan resolusi sebagai sample_size * vae_scale_factor => 128 * 8 => 1024

Model Transformer yang diperkenalkan dalam CogView3: Finer and Faster Text-to-Image Generation via Relay Diffusion.

forward

< >

( hidden_states: Tensorencoder_hidden_states: Tensortimestep: LongTensororiginal_size: Tensortarget_size: Tensorcrop_coords: Tensorreturn_dict: bool = True ) → torch.Tensor or ~models.transformer_2d.Transformer2DModelOutput

Parameter

  • hidden_states (torch.Tensor) — hidden_states masukan dengan bentuk (batch size, channel, height, width).
  • encoder_hidden_states (torch.Tensor) — Embedding kondisional (embedding yang dihitung dari kondisi input seperti prompt) dengan bentuk (batch_size, sequence_len, text_embed_dim)
  • timestep (torch.LongTensor) — Digunakan untuk menunjukkan langkah denoising.
  • original_size (torch.Tensor) — CogView3 menggunakan micro-conditioning mirip SDXL untuk ukuran gambar asli seperti yang dijelaskan di bagian 2.2 dari https://huggingface.co/papers/2307.01952.
  • target_size (torch.Tensor) — CogView3 menggunakan micro-conditioning mirip SDXL untuk ukuran gambar target seperti yang dijelaskan di bagian 2.2 dari https://huggingface.co/papers/2307.01952.
  • crop_coords (torch.Tensor) — CogView3 menggunakan micro-conditioning mirip SDXL untuk koordinat crop seperti yang dijelaskan di bagian 2.2 dari https://huggingface.co/papers/2307.01952.
  • return_dict (bool, opsional, default True) — Apakah akan mengembalikan ~models.transformer_2d.Transformer2DModelOutput alih-alih tuple biasa.

Mengembalikan

torch.Tensor atau ~models.transformer_2d.Transformer2DModelOutput

Latens yang telah didenoise menggunakan input yang disediakan sebagai kondisioning.

Metode forward dari CogView3PlusTransformer2DModel.

Transformer2DModelOutput

kelas diffusers.models.modeling_outputs.Transformer2DModelOutput

< >

( sample: torch.Tensor )

Parameter

  • sample (torch.Tensor dengan bentuk (batch_size, num_channels, height, width) atau (batch size, num_vector_embeds - 1, num_latent_pixels) jika Transformer2DModel bersifat diskrit) — Output hidden states yang dikondisikan pada input encoder_hidden_states. Jika diskrit, mengembalikan distribusi probabilitas untuk latent pixels yang tidak berisik.

Output dari Transformer2DModel.

Update on GitHub

←CogVideoXTransformer3DModel CogView4Transformer2DModel→