Hugging Face's logo

Diffusers documentation

HunyuanDiT2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

HunyuanDiT2DModel

Một mô hình Diffusion Transformer cho dữ liệu 2D từ Hunyuan-DiT.

HunyuanDiT2DModel

lớp diffusers.HunyuanDiT2DModel

< >

( num_attention_heads: int = 16attention_head_dim: int = 88in_channels: int | None = Nonepatch_size: int | None = Noneactivation_fn: str = 'gelu-approximate'sample_size = 32hidden_size = 1152num_layers: int = 28mlp_ratio: float = 4.0learn_sigma: bool = Truecross_attention_dim: int = 1024norm_type: str = 'layer_norm'cross_attention_dim_t5: int = 2048pooled_projection_dim: int = 1024text_len: int = 77text_len_t5: int = 256use_style_cond_and_image_meta_size: bool = True )

Tham số

  • num_attention_heads (int, tùy chọn, mặc định là 16) — Số lượng đầu (heads) được sử dụng cho cơ chế chú ý đa đầu (multi-head attention).
  • attention_head_dim (int, tùy chọn, mặc định là 88) — Số lượng kênh trong mỗi head.
  • in_channels (int, tùy chọn) — Số lượng kênh trong đầu vào và đầu ra (cần chỉ định nếu đầu vào là liên tục).
  • patch_size (int, tùy chọn) — Kích thước của patch được sử dụng cho đầu vào.
  • activation_fn (str, tùy chọn, mặc định là "geglu") — Hàm kích hoạt được sử dụng trong feed-forward.
  • sample_size (int, tùy chọn) — Chiều rộng của các ảnh tiềm ẩn. Giá trị này được cố định trong quá trình huấn luyện vì nó được dùng để học một số lượng embedding vị trí.
  • dropout (float, tùy chọn, mặc định là 0.0) — Xác suất dropout cần sử dụng.
  • cross_attention_dim (int, tùy chọn) — Số chiều của embedding văn bản clip.
  • hidden_size (int, tùy chọn) — Kích thước của lớp ẩn trong các lớp nhúng điều kiện.
  • num_layers (int, tùy chọn, mặc định là 1) — Số lượng lớp khối Transformer cần sử dụng.
  • mlp_ratio (float, tùy chọn, mặc định là 4.0) — Tỷ lệ giữa kích thước lớp ẩn và kích thước đầu vào.
  • learn_sigma (bool, tùy chọn, mặc định là True) — Có dự đoán phương sai hay không.
  • cross_attention_dim_t5 (int, tùy chọn) — Số chiều trong nhúng văn bản t5.
  • pooled_projection_dim (int, tùy chọn) — Kích thước của phép chiếu đã gộp (pooled projection).
  • text_len (int, tùy chọn) — Độ dài của nhúng văn bản clip.
  • text_len_t5 (int, tùy chọn) — Độ dài của nhúng văn bản T5.
  • use_style_cond_and_image_meta_size (bool, tùy chọn) — Có sử dụng điều kiện phong cách và kích thước meta của hình ảnh hay không. True cho phiên bản <=1.1, False cho phiên bản >= 1.2

HunYuanDiT: Mô hình khuếch tán với bộ khung Transformer.

Kế thừa ModelMixin và ConfigMixin để tương thích với trình lấy mẫu StableDiffusionPipeline của diffusers.

enable_forward_chunking

< >

( chunk_size: int | None = Nonedim: int = 0 )

Tham số

  • chunk_size (int, tùy chọn) — Kích thước chunk của các lớp feed-forward. Nếu không được chỉ định, lớp feed-forward sẽ được chạy riêng lẻ trên mỗi tensor có dim=dim.
  • dim (int, tùy chọn, mặc định là 0) — Chiều mà phép tính feed-forward nên được chia nhỏ. Chọn giữa dim=0 (batch) hoặc dim=1 (chiều dài chuỗi).

Đặt bộ xử lý chú ý để sử dụng chia nhỏ feed forward.

forward

< >

( hidden_statestimestepencoder_hidden_states = Nonetext_embedding_mask = Noneencoder_hidden_states_t5 = Nonetext_embedding_mask_t5 = Noneimage_meta_size = Nonestyle = Noneimage_rotary_emb = Nonecontrolnet_block_samples = Nonereturn_dict = True )

Tham số

  • hidden_states (torch.Tensor có hình dạng (batch size, dim, height, width)) — Tensor đầu vào.
  • timestep ( torch.LongTensor, tùy chọn) — Dùng để chỉ bước khử nhiễu.
  • encoder_hidden_states ( torch.Tensor có hình dạng (batch size, sequence len, embed dims), tùy chọn) — Các embedding điều kiện cho lớp cross attention. Đây là đầu ra của BertModel.
  • text_embedding_mask — torch.Tensor Một attention mask có shape (batch, key_tokens) được áp dụng cho encoder_hidden_states. Đây là đầu ra của BertModel.
  • encoder_hidden_states_t5 ( torch.Tensor có hình dạng (batch size, sequence len, embed dims), tùy chọn) — Các embedding điều kiện cho lớp cross attention. Đây là đầu ra của T5 Text Encoder.
  • text_embedding_mask_t5 — torch.Tensor Một attention mask có shape (batch, key_tokens) được áp dụng cho encoder_hidden_states. Đây là đầu ra của T5 Text Encoder.
  • image_meta_size (torch.Tensor) — Embedding điều kiện chỉ ra kích thước ảnh
  • style — torch.Tensor: Nhúng điều kiện chỉ định phong cách
  • image_rotary_emb (torch.Tensor) — Các embedding xoay của hình ảnh cần áp dụng lên các tensor query và key trong quá trình tính toán attention.
  • controlnet_block_samples (list của torch.Tensor, tùy chọn) — Một danh sách các tensor mà nếu được chỉ định sẽ được cộng vào phần dư (residuals) của các khối transformer.
  • return_dict — bool Có nên trả về một từ điển hay không.

Phương thức forward của HunyuanDiT2DModel.

fuse_qkv_projections

< >

( )

Bật các phép chiếu QKV đã hợp nhất. Đối với các module tự chú ý, tất cả các ma trận chiếu (tức là truy vấn, khóa, giá trị) đều được hợp nhất. Đối với các module chú ý chéo, các ma trận chiếu khóa và giá trị được hợp nhất.

> API này 🧪 mang tính thử nghiệm.

set_default_attn_processor

< >

( )

Tắt các bộ xử lý chú ý tùy chỉnh và đặt cài đặt chú ý mặc định.

unfuse_qkv_projections

< >

( )

Tắt dự phóng QKV hợp nhất nếu đã được bật.

> API này 🧪 mang tính thử nghiệm.

Update on GitHub

←HiDreamImageTransformer2DModel HunyuanImageTransformer2DModel→