Hugging Face's logo

Diffusers documentation

PixArtTransformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

PixArtTransformer2DModel

Mô hình Transformer cho dữ liệu dạng ảnh từ PixArt-Alpha và PixArt-Sigma.

PixArtTransformer2DModel

lớp diffusers.PixArtTransformer2DModel

< >

( num_attention_heads: int = 16attention_head_dim: int = 72in_channels: int = 4out_channels: int | None = 8num_layers: int = 28dropout: float = 0.0norm_num_groups: int = 32cross_attention_dim: int | None = 1152attention_bias: bool = Truesample_size: int = 128patch_size: int = 2activation_fn: str = 'gelu-approximate'num_embeds_ada_norm: int | None = 1000upcast_attention: bool = Falsenorm_type: str = 'ada_norm_single'norm_elementwise_affine: bool = Falsenorm_eps: float = 1e-06interpolation_scale: int | None = Noneuse_additional_conditions: bool | None = Nonecaption_channels: int | None = Noneattention_type: str | None = 'default' )

Tham số

  • num_attention_heads (int, tùy chọn, mặc định là 16) — Số lượng đầu (heads) được sử dụng cho cơ chế chú ý đa đầu (multi-head attention).
  • attention_head_dim (int, tùy chọn, mặc định là 72) — Số kênh trong mỗi head.
  • in_channels (int, mặc định là 4) — Số lượng kênh trong đầu vào.
  • out_channels (int, optional) — Số lượng kênh trong đầu ra. Chỉ định tham số này nếu số lượng kênh đầu ra khác với đầu vào.
  • num_layers (int, tùy chọn, mặc định là 28) — Số lượng lớp khối Transformer cần sử dụng.
  • dropout (float, tùy chọn, mặc định là 0.0) — Xác suất dropout được sử dụng bên trong các khối Transformer.
  • norm_num_groups (int, tùy chọn, mặc định là 32) — Số lượng nhóm cho chuẩn hóa nhóm (group normalization) bên trong các khối Transformer.
  • cross_attention_dim (int, tùy chọn) — Kích thước cho các lớp cross-attention, thường khớp với kích thước ẩn của encoder.
  • attention_bias (bool, tùy chọn, mặc định là True) — Cấu hình xem chú ý (attention) của các khối Transformer có nên chứa tham số bias hay không.
  • sample_size (int, mặc định là 128) — Chiều rộng của các ảnh tiềm ẩn. Tham số này được cố định trong quá trình huấn luyện.
  • patch_size (int, mặc định là 2) — Kích thước của các patch mà mô hình xử lý, liên quan đến các kiến trúc làm việc với dữ liệu không tuần tự.
  • activation_fn (str, optional, mặc định là “gelu-approximate”) — Hàm kích hoạt được sử dụng trong các mạng feed-forward bên trong các khối Transformer.
  • num_embeds_ada_norm (int, optional, mặc định là 1000) — Số lượng embeddings cho AdaLayerNorm, được cố định trong quá trình huấn luyện và ảnh hưởng đến số bước khử nhiễu tối đa trong suy luận.
  • upcast_attention (bool, tùy chọn, mặc định là False) — Nếu là true, sẽ tăng độ chính xác của các chiều trong cơ chế attention để có thể cải thiện hiệu suất.
  • norm_type (str, tùy chọn, mặc định là “ada_norm_zero”) — Chỉ định loại chuẩn hóa được sử dụng, có thể là ‘ada_norm_zero’.
  • norm_elementwise_affine (bool, tùy chọn, mặc định là False) — Nếu là true, sẽ bật các tham số affine theo từng phần tử trong các lớp chuẩn hóa.
  • norm_eps (float, tùy chọn, mặc định là 1e-6) — Một hằng số nhỏ được cộng vào mẫu số trong các lớp chuẩn hóa để ngăn chặn phép chia cho không.
  • interpolation_scale (int, tùy chọn) — Hệ số tỷ lệ sử dụng khi nội suy các vector nhúng vị trí.
  • use_additional_conditions (bool, tùy chọn) — Nếu chúng ta đang sử dụng các điều kiện bổ sung làm đầu vào.
  • attention_type (str, tùy chọn, mặc định là “default”) — Loại cơ chế attention sẽ được sử dụng.
  • caption_channels (int, tùy chọn, mặc định là None) — Số lượng kênh được sử dụng để chiếu các embedding mô tả.
  • use_linear_projection (bool, tùy chọn, mặc định là False) — Tham số đã bị ngừng hỗ trợ. Sẽ bị loại bỏ trong một phiên bản tương lai.
  • num_vector_embeds (bool, tùy chọn, mặc định là False) — Tham số đã bị ngừng hỗ trợ. Sẽ bị loại bỏ trong một phiên bản tương lai.

Mô hình Transformer 2D như được giới thiệu trong dòng mô hình PixArt (https://huggingface.co/papers/2310.00426, https://huggingface.co/papers/2403.04692).

forward

< >

( hidden_states: Tensorencoder_hidden_states: typing.Optional[torch.Tensor] = Nonetimestep: typing.Optional[torch.LongTensor] = Noneadded_cond_kwargs: dict = Nonecross_attention_kwargs: dict = Noneattention_mask: typing.Optional[torch.Tensor] = Noneencoder_attention_mask: typing.Optional[torch.Tensor] = Nonereturn_dict: bool = True )

Tham số

  • hidden_states (torch.FloatTensor có hình dạng (batch size, channel, height, width)) — hidden_states đầu vào.
  • encoder_hidden_states (torch.FloatTensor có shape (batch size, sequence len, embed dims), optional) — Các embedding điều kiện cho lớp cross attention. Nếu không được cung cấp, cross-attention sẽ mặc định là self-attention.
  • timestep (torch.LongTensor, tùy chọn) — Dùng để chỉ bước khử nhiễu. Timestep tùy chọn được áp dụng dưới dạng embedding trong AdaLayerNorm.
  • added_cond_kwargs — (dict[str, Any], tùy chọn): Các điều kiện bổ sung được sử dụng làm đầu vào.
  • cross_attention_kwargs ( dict[str, Any], tùy chọn) — Một từ điển kwargs mà nếu được chỉ định sẽ được truyền đến AttentionProcessor như đã định nghĩa dưới self.processor trong diffusers.models.attention_processor.
  • attention_mask ( torch.Tensor, tùy chọn) — Một attention mask có shape (batch, key_tokens) được áp dụng cho encoder_hidden_states. Nếu 1, mask được giữ lại, ngược lại nếu 0, nó sẽ bị loại bỏ. Mask sẽ được chuyển thành một bias, thêm các giá trị âm lớn vào các điểm attention tương ứng với các token “bị loại bỏ”.
  • encoder_attention_mask ( torch.Tensor, tuỳ chọn) — Mặt nạ cross-attention được áp dụng cho encoder_hidden_states. Hỗ trợ hai định dạng:
    • Mask (batch, sequence_length) True = giữ lại, False = loại bỏ.
    • Bias (batch, 1, sequence_length) 0 = giữ, -10000 = loại bỏ.

    Nếu ndim == 2: sẽ được hiểu là một mask, sau đó được chuyển đổi thành một bias nhất quán với định dạng ở trên. Bias này sẽ được cộng vào các điểm cross-attention.

  • return_dict (bool, tùy chọn, mặc định là True) — Có nên trả về một UNet2DConditionOutput thay vì một tuple thông thường hay không.

Phương thức forward của PixArtTransformer2DModel.

fuse_qkv_projections

< >

( )

Bật các phép chiếu QKV đã hợp nhất. Đối với các module tự chú ý, tất cả các ma trận chiếu (tức là truy vấn, khóa, giá trị) đều được hợp nhất. Đối với các module chú ý chéo, các ma trận chiếu khóa và giá trị được hợp nhất.

> API này 🧪 mang tính thử nghiệm.

set_default_attn_processor

< >

( )

Tắt các bộ xử lý chú ý tùy chỉnh và đặt cài đặt chú ý mặc định.

An toàn khi chỉ cần sử dụng AttnProcessor() vì PixArt không có bất kỳ bộ xử lý chú ý đặc biệt nào trong mô hình mặc định.

unfuse_qkv_projections

< >

( )

Tắt dự phóng QKV hợp nhất nếu đã được bật.

> API này 🧪 mang tính thử nghiệm.

Update on GitHub

←OvisImageTransformer2DModel PriorTransformer→