# Bộ xử lý chú ý

Attention processor là một lớp để áp dụng các loại cơ chế chú ý khác nhau.

## AttnProcessor[[diffusers.models.attention_processor.AttnProcessor]]

#### diffusers.models.attention_processor.AttnProcessor[[diffusers.models.attention_processor.AttnProcessor]]

```python
diffusers.models.attention_processor.AttnProcessor()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L1103)

Bộ xử lý mặc định để thực hiện các phép tính liên quan đến chú ý.

#### diffusers.models.attention_processor.AttnProcessor2_0[[diffusers.models.attention_processor.AttnProcessor2_0]]

```python
diffusers.models.attention_processor.AttnProcessor2_0()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L2696)

Bộ xử lý để triển khai chú ý tích vô hướng có tỷ lệ (được bật theo mặc định nếu bạn đang sử dụng PyTorch 2.0).

#### diffusers.models.attention_processor.AttnAddedKVProcessor[[diffusers.models.attention_processor.AttnAddedKVProcessor]]

```python
diffusers.models.attention_processor.AttnAddedKVProcessor()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L1279)

Bộ xử lý để thực hiện các phép tính liên quan đến chú ý với các ma trận khóa và giá trị có thể học thêm cho bộ mã hóa văn bản.

#### diffusers.models.attention_processor.AttnAddedKVProcessor2_0[[diffusers.models.attention_processor.AttnAddedKVProcessor2_0]]

```python
diffusers.models.attention_processor.AttnAddedKVProcessor2_0()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L1346)

Bộ xử lý để thực hiện chú ý tích vô hướng có tỷ lệ (được bật theo mặc định nếu bạn đang sử dụng PyTorch 2.0), với các ma trận khóa và giá trị có thể học thêm cho bộ mã hóa văn bản.

#### diffusers.models.attention_processor.AttnProcessorNPU[[diffusers.models.attention_processor.AttnProcessorNPU]]

```python
diffusers.models.attention_processor.AttnProcessorNPU()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L2582)

Bộ xử lý để triển khai flash attention sử dụng torch_npu. Torch_npu chỉ hỗ trợ các kiểu dữ liệu fp16 và bf16. Nếu sử dụng fp32, F.scaled_dot_product_attention sẽ được dùng để tính toán, nhưng hiệu quả tăng tốc trên NPU không đáng kể.

#### diffusers.models.attention_processor.FusedAttnProcessor2_0[[diffusers.models.attention_processor.FusedAttnProcessor2_0]]

```python
diffusers.models.attention_processor.FusedAttnProcessor2_0()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L3668)

Bộ xử lý để triển khai chú ý tích cóp có tỷ lệ (được bật mặc định nếu bạn đang sử dụng PyTorch 2.0). Nó sử dụng các lớp chiếu hợp nhất. Đối với các mô-đun tự chú ý, tất cả các ma trận chiếu (tức là truy vấn, khóa, giá trị) đều được hợp nhất. Đối với các mô-đun chú ý chéo, các ma trận chiếu khóa và giá trị được hợp nhất.

> [!WARNING] > API này hiện tại mang tính chất 🧪 thử nghiệm và có thể thay đổi trong tương lai.

## Allegro[[diffusers.models.attention_processor.AllegroAttnProcessor2_0]]

#### diffusers.models.attention_processor.AllegroAttnProcessor2_0[[diffusers.models.attention_processor.AllegroAttnProcessor2_0]]

```python
diffusers.models.attention_processor.AllegroAttnProcessor2_0()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L1993)

Bộ xử lý để triển khai chú ý tích vô hướng có tỷ lệ (được bật mặc định nếu bạn đang sử dụng PyTorch 2.0). Nó được sử dụng trong mô hình Allegro. Nó áp dụng một lớp chuẩn hóa và nhúng quay (rotary embedding) lên vector truy vấn và khóa.

## AuraFlow[[diffusers.models.attention_processor.AuraFlowAttnProcessor2_0]]

#### diffusers.models.attention_processor.AuraFlowAttnProcessor2_0[[diffusers.models.attention_processor.AuraFlowAttnProcessor2_0]]

```python
diffusers.models.attention_processor.AuraFlowAttnProcessor2_0()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L2087)

Bộ xử lý chú ý thường được sử dụng trong quá trình xử lý Aura Flow.

#### diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0[[diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0]]

```python
diffusers.models.attention_processor.FusedAuraFlowAttnProcessor2_0()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L2180)

Bộ xử lý chú ý thường được sử dụng trong xử lý Aura Flow với các phép chiếu đã hợp nhất.

## CogVideoX[[diffusers.models.attention_processor.CogVideoXAttnProcessor2_0]]

#### diffusers.models.attention_processor.CogVideoXAttnProcessor2_0[[diffusers.models.attention_processor.CogVideoXAttnProcessor2_0]]

```python
diffusers.models.attention_processor.CogVideoXAttnProcessor2_0()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L2277)

Bộ xử lý để triển khai chú ý tích vô hướng có tỷ lệ cho mô hình CogVideoX. Nó áp dụng nhúng quay (rotary embedding) lên các vector truy vấn và khóa, nhưng không bao gồm chuẩn hóa không gian.

#### diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0[[diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0]]

```python
diffusers.models.attention_processor.FusedCogVideoXAttnProcessor2_0()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L2346)

Bộ xử lý để triển khai chú ý tích vô hướng có tỷ lệ cho mô hình CogVideoX. Nó áp dụng nhúng quay (rotary embedding) lên các vector truy vấn và khóa, nhưng không bao gồm chuẩn hóa không gian.

## DreamLite[[diffusers.models.unets.unet_dreamlite.DreamLiteAttnProcessor2_0]]

#### diffusers.models.unets.unet_dreamlite.DreamLiteAttnProcessor2_0[[diffusers.models.unets.unet_dreamlite.DreamLiteAttnProcessor2_0]]

```python
diffusers.models.unets.unet_dreamlite.DreamLiteAttnProcessor2_0()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/unets/unet_dreamlite.py#L285)

Bộ xử lý để triển khai chú ý tích cóp có tỷ lệ (scaled dot-product attention) với hỗ trợ Chú vấn truy vấn nhóm (Grouped Query Attention (GQA / MQA)).

Giống hệt `AttnProcessor2_0` ngoại trừ nhánh reshape key/value xử lý chính xác trường hợp `attn.kv_heads != attn.heads` bằng cách reshape K/V thành `kv_heads` rồi `repeat_interleave` chúng lên đến `attn.heads`. Điều này là bắt buộc đối với DreamLite UNet, kết hợp GQA với `qk_norm` — một tổ hợp mà `AttnProcessor2_0` mặc định không xử lý. SDPA được ủy quyền cho `dispatch_attention_fn` để có thể sử dụng bất kỳ backend attention nào của diffusers (native PyTorch SDPA, FlashAttention, v.v.).

## Custom Diffusion[[diffusers.models.attention_processor.CustomDiffusionAttnProcessor]]

#### diffusers.models.attention_processor.CustomDiffusionAttnProcessor[[diffusers.models.attention_processor.CustomDiffusionAttnProcessor]]

```python
diffusers.models.attention_processor.CustomDiffusionAttnProcessor(train_kv: bool = True, train_q_out: bool = True, hidden_size: int | None = None, cross_attention_dim: int | None = None, out_bias: bool = True, dropout: float = 0.0)
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L1175)

**Tham số:**

train_kv (`bool`, mặc định là `True`) : Có huấn luyện mới các ma trận key và value tương ứng với các đặc trưng văn bản hay không.

train_q_out (`bool`, mặc định là `True`) : Có huấn luyện mới các ma trận truy vấn tương ứng với các đặc trưng ảnh tiềm ẩn hay không.

hidden_size (`int`, *tùy chọn*, mặc định là `None`) : Kích thước ẩn của lớp chú ý.

cross_attention_dim (`int`, *tùy chọn*, mặc định là `None`) : Số lượng kênh trong `encoder_hidden_states`.

out_bias (`bool`, mặc định là `True`) : Có bao gồm tham số bias trong `train_q_out` hay không.

dropout (`float`, *tuỳ chọn*, mặc định là 0.0) : Xác suất dropout cần sử dụng.

Bộ xử lý để triển khai chú ý cho phương pháp Custom Diffusion.

#### diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0[[diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0]]

```python
diffusers.models.attention_processor.CustomDiffusionAttnProcessor2_0(train_kv: bool = True, train_q_out: bool = True, hidden_size: int | None = None, cross_attention_dim: int | None = None, out_bias: bool = True, dropout: float = 0.0)
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L3886)

**Tham số:**

train_kv (`bool`, mặc định là `True`) : Có huấn luyện mới các ma trận key và value tương ứng với các đặc trưng văn bản hay không.

train_q_out (`bool`, mặc định là `True`) : Có huấn luyện mới các ma trận truy vấn tương ứng với các đặc trưng ảnh tiềm ẩn hay không.

hidden_size (`int`, *tùy chọn*, mặc định là `None`) : Kích thước ẩn của lớp chú ý.

cross_attention_dim (`int`, *tùy chọn*, mặc định là `None`) : Số lượng kênh trong `encoder_hidden_states`.

out_bias (`bool`, mặc định là `True`) : Có bao gồm tham số bias trong `train_q_out` hay không.

dropout (`float`, *tuỳ chọn*, mặc định là 0.0) : Xác suất dropout cần sử dụng.

Bộ xử lý để triển khai chú ý (attention) cho phương pháp Custom Diffusion bằng cách sử dụng chú ý tích chập có điểm chuẩn hiệu quả về bộ nhớ của PyTorch 2.0.

#### diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor[[diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor]]

```python
diffusers.models.attention_processor.CustomDiffusionXFormersAttnProcessor(train_kv: bool = True, train_q_out: bool = False, hidden_size: int | None = None, cross_attention_dim: int | None = None, out_bias: bool = True, dropout: float = 0.0, attention_op: Callable | None = None)
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L3770)

**Tham số:**

train_kv (`bool`, mặc định là `True`) : Có huấn luyện mới các ma trận key và value tương ứng với các đặc trưng văn bản hay không.

train_q_out (`bool`, mặc định là `True`) : Có huấn luyện mới các ma trận truy vấn tương ứng với các đặc trưng ảnh tiềm ẩn hay không.

hidden_size (`int`, *tùy chọn*, mặc định là `None`) : Kích thước ẩn của lớp chú ý.

cross_attention_dim (`int`, *tùy chọn*, mặc định là `None`) : Số lượng kênh trong `encoder_hidden_states`.

out_bias (`bool`, mặc định là `True`) : Có bao gồm tham số bias trong `train_q_out` hay không.

dropout (`float`, *tuỳ chọn*, mặc định là 0.0) : Xác suất dropout cần sử dụng.

attention_op (`Callable`, *tùy chọn*, mặc định là `None`) : [operator](https://facebookresearch.github.io/xformers/components/ops.html#xformers.ops.AttentionOpBase) cơ bản được sử dụng làm operator cho attention. Khuyến nghị đặt thành `None` và để xFormers tự chọn operator tối ưu nhất.

Bộ xử lý để triển khai chú ý hiệu quả bộ nhớ sử dụng xFormers cho phương pháp Custom Diffusion.

## Flux[[diffusers.models.attention_processor.FluxAttnProcessor2_0]]

#### diffusers.models.attention_processor.FluxAttnProcessor2_0[[diffusers.models.attention_processor.FluxAttnProcessor2_0]]

```python
diffusers.models.attention_processor.FluxAttnProcessor2_0(*args, **kwargs)
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L5505)

#### diffusers.models.attention_processor.FusedFluxAttnProcessor2_0[[diffusers.models.attention_processor.FusedFluxAttnProcessor2_0]]

```python
diffusers.models.attention_processor.FusedFluxAttnProcessor2_0(*args, **kwargs)
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L5529)

#### diffusers.models.attention_processor.FluxSingleAttnProcessor2_0[[diffusers.models.attention_processor.FluxSingleAttnProcessor2_0]]

```python
diffusers.models.attention_processor.FluxSingleAttnProcessor2_0(*args, **kwargs)
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L5515)

Bộ xử lý để triển khai chú ý tích vô hướng có tỷ lệ (được bật theo mặc định nếu bạn đang sử dụng PyTorch 2.0).

## Hunyuan[[diffusers.models.attention_processor.HunyuanAttnProcessor2_0]]

#### diffusers.models.attention_processor.HunyuanAttnProcessor2_0[[diffusers.models.attention_processor.HunyuanAttnProcessor2_0]]

```python
diffusers.models.attention_processor.HunyuanAttnProcessor2_0()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L3124)

Bộ xử lý để triển khai chú ý tích vô hướng có tỷ lệ (được bật mặc định nếu bạn đang sử dụng PyTorch 2.0). Nó được sử dụng trong mô hình HunyuanDiT. Nó áp dụng một lớp chuẩn hóa s và nhúng quay (rotary embedding) lên vector truy vấn và khóa.

#### diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0[[diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0]]

```python
diffusers.models.attention_processor.FusedHunyuanAttnProcessor2_0()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L3222)

Bộ xử lý để triển khai chú ý tích vô hướng có tỷ lệ (được bật mặc định nếu bạn đang sử dụng PyTorch 2.0) với các lớp chiếu đã hợp nhất. Thành phần này được sử dụng trong mô hình HunyuanDiT. Nó áp dụng một lớp chuẩn hóa s và nhúng quay (rotary embedding) lên vector truy vấn và vector khóa.

#### diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0[[diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0]]

```python
diffusers.models.attention_processor.PAGHunyuanAttnProcessor2_0()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L3325)

Bộ xử lý để triển khai chú ý tích vô hướng có tỷ lệ (được bật mặc định nếu bạn đang sử dụng PyTorch 2.0). Nó được sử dụng trong mô hình HunyuanDiT. Nó áp dụng một lớp chuẩn hóa và nhúng quay (rotary embedding) lên vector truy vấn và khóa. Biến thể của bộ xử lý này sử dụng [Pertubed Attention Guidance](https://huggingface.co/papers/2403.17377).

#### diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0[[diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0]]

```python
diffusers.models.attention_processor.PAGCFGHunyuanAttnProcessor2_0()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L3448)

Bộ xử lý để triển khai chú ý tích vô hướng có tỷ lệ (được bật mặc định nếu bạn đang sử dụng PyTorch 2.0). Nó được sử dụng trong mô hình HunyuanDiT. Nó áp dụng một lớp chuẩn hóa và nhúng quay (rotary embedding) lên vector truy vấn và khóa. Biến thể của bộ xử lý này sử dụng [Pertubed Attention Guidance](https://huggingface.co/papers/2403.17377).

## IdentitySelfAttnProcessor2_0[[diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0]]

#### diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0[[diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0]]

```python
diffusers.models.attention_processor.PAGIdentitySelfAttnProcessor2_0()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L5043)

Bộ xử lý để triển khai PAG bằng cách sử dụng chú ý tích vô hướng có tỷ lệ (được bật theo mặc định nếu bạn đang sử dụng PyTorch 2.0). Tham chiếu PAG: https://huggingface.co/papers/2403.17377

#### diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0[[diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0]]

```python
diffusers.models.attention_processor.PAGCFGIdentitySelfAttnProcessor2_0()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L5142)

Bộ xử lý để triển khai PAG bằng cách sử dụng chú ý tích vô hướng có tỷ lệ (được bật theo mặc định nếu bạn đang sử dụng PyTorch 2.0). Tham chiếu PAG: https://huggingface.co/papers/2403.17377

## IP-Adapter[[diffusers.models.attention_processor.IPAdapterAttnProcessor]]

#### diffusers.models.attention_processor.IPAdapterAttnProcessor[[diffusers.models.attention_processor.IPAdapterAttnProcessor]]

```python
diffusers.models.attention_processor.IPAdapterAttnProcessor(hidden_size, cross_attention_dim = None, num_tokens = (4,), scale = 1.0)
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L4208)

**Tham số:**

hidden_size (`int`) : Kích thước ẩn của lớp chú ý.

cross_attention_dim (`int`) : Số lượng kênh trong `encoder_hidden_states`.

num_tokens (`int`, `tuple[int]` hoặc `list[int]`, mặc định là `(4,)`) : Độ dài ngữ cảnh của các đặc trưng hình ảnh.

scale (`float` hoặc list`float`, mặc định là 1.0) : hệ số trọng số của image prompt.

Bộ xử lý chú ý cho nhiều IP-Adapter.

#### diffusers.models.attention_processor.IPAdapterAttnProcessor2_0[[diffusers.models.attention_processor.IPAdapterAttnProcessor2_0]]

```python
diffusers.models.attention_processor.IPAdapterAttnProcessor2_0(hidden_size, cross_attention_dim = None, num_tokens = (4,), scale = 1.0)
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L4408)

**Tham số:**

hidden_size (`int`) : Kích thước ẩn của lớp chú ý.

cross_attention_dim (`int`) : Số lượng kênh trong `encoder_hidden_states`.

num_tokens (`int`, `tuple[int]` hoặc `list[int]`, mặc định là `(4,)`) : Độ dài ngữ cảnh của các đặc trưng hình ảnh.

scale (`float` hoặc `list[float]`, mặc định là 1.0) : hệ số trọng số của image prompt.

Bộ xử lý chú ý cho IP-Adapter cho PyTorch 2.0.

#### diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0[[diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0]]

```python
diffusers.models.attention_processor.SD3IPAdapterJointAttnProcessor2_0(hidden_size: int, ip_hidden_states_dim: int, head_dim: int, timesteps_emb_dim: int = 1280, scale: float = 0.5)
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L4872)

**Tham số:**

hidden_size (`int`) : Số lượng kênh ẩn.

ip_hidden_states_dim (`int`) : Kích thước chiều đặc trưng của ảnh.

head_dim (`int`) : Số lượng kênh đầu.

timesteps_emb_dim (`int`, mặc định là 1280) : Số lượng kênh đầu vào cho nhúng bước thời gian (timestep embedding).

scale (`float`, mặc định là 0.5) : Thang IP-Adapter.

Bộ xử lý chú ý cho IP-Adapter, thường được sử dụng trong việc xử lý các phép chiếu tự chú ý kiểu SD3, với thông tin dựa trên hình ảnh bổ sung và nhúng bước thời gian.

## JointAttnProcessor2_0[[diffusers.models.attention_processor.JointAttnProcessor2_0]]

#### diffusers.models.attention_processor.JointAttnProcessor2_0[[diffusers.models.attention_processor.JointAttnProcessor2_0]]

```python
diffusers.models.attention_processor.JointAttnProcessor2_0()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L1422)

Bộ xử lý chú ý thường được sử dụng trong việc xử lý các phép chiếu tự chú ý kiểu SD3.

#### diffusers.models.attention_processor.PAGJointAttnProcessor2_0[[diffusers.models.attention_processor.PAGJointAttnProcessor2_0]]

```python
diffusers.models.attention_processor.PAGJointAttnProcessor2_0()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L1508)

Bộ xử lý chú ý thường được sử dụng trong việc xử lý các phép chiếu tự chú ý kiểu SD3.

#### diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0[[diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0]]

```python
diffusers.models.attention_processor.PAGCFGJointAttnProcessor2_0()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L1664)

Bộ xử lý chú ý thường được sử dụng trong việc xử lý các phép chiếu tự chú ý kiểu SD3.

#### diffusers.models.attention_processor.FusedJointAttnProcessor2_0[[diffusers.models.attention_processor.FusedJointAttnProcessor2_0]]

```python
diffusers.models.attention_processor.FusedJointAttnProcessor2_0()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L1829)

Bộ xử lý chú ý thường được sử dụng trong việc xử lý các phép chiếu tự chú ý kiểu SD3.

## LoRA[[diffusers.models.attention_processor.LoRAAttnProcessor]]

#### diffusers.models.attention_processor.LoRAAttnProcessor[[diffusers.models.attention_processor.LoRAAttnProcessor]]

```python
diffusers.models.attention_processor.LoRAAttnProcessor()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L5305)

Bộ xử lý để triển khai chú ý với LoRA.

#### diffusers.models.attention_processor.LoRAAttnProcessor2_0[[diffusers.models.attention_processor.LoRAAttnProcessor2_0]]

```python
diffusers.models.attention_processor.LoRAAttnProcessor2_0()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L5314)

Bộ xử lý để triển khai attention với LoRA (được bật mặc định nếu bạn đang sử dụng PyTorch 2.0).

#### diffusers.models.attention_processor.LoRAAttnAddedKVProcessor[[diffusers.models.attention_processor.LoRAAttnAddedKVProcessor]]

```python
diffusers.models.attention_processor.LoRAAttnAddedKVProcessor()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L5332)

Bộ xử lý để triển khai chú ý với LoRA kèm theo các ma trận khóa và giá trị có thể học bổ sung cho bộ mã hóa văn bản.

#### diffusers.models.attention_processor.LoRAXFormersAttnProcessor[[diffusers.models.attention_processor.LoRAXFormersAttnProcessor]]

```python
diffusers.models.attention_processor.LoRAXFormersAttnProcessor()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L5323)

Bộ xử lý để triển khai chú ý với LoRA sử dụng xFormers.

## Lumina-T2X[[diffusers.models.attention_processor.LuminaAttnProcessor2_0]]

#### diffusers.models.attention_processor.LuminaAttnProcessor2_0[[diffusers.models.attention_processor.LuminaAttnProcessor2_0]]

```python
diffusers.models.attention_processor.LuminaAttnProcessor2_0()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L3572)

Bộ xử lý để triển khai chú ý tích vô hướng có tỷ lệ (được bật mặc định nếu bạn đang sử dụng PyTorch 2.0). Nó được sử dụng trong mô hình LuminaNextDiT. Nó áp dụng một lớp chuẩn hóa s và nhúng quay (rotary embedding) lên vector truy vấn và khóa.

## Mochi[[diffusers.models.attention_processor.MochiAttnProcessor2_0]]

#### diffusers.models.attention_processor.MochiAttnProcessor2_0[[diffusers.models.attention_processor.MochiAttnProcessor2_0]]

```python
diffusers.models.attention_processor.MochiAttnProcessor2_0()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L998)

Bộ xử lý chú ý được sử dụng trong Mochi.

#### diffusers.models.attention_processor.MochiVaeAttnProcessor2_0[[diffusers.models.attention_processor.MochiVaeAttnProcessor2_0]]

```python
diffusers.models.attention_processor.MochiVaeAttnProcessor2_0()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L2906)

Bộ xử lý chú ý được sử dụng trong Mochi VAE.

## Sana[[diffusers.models.attention_processor.SanaLinearAttnProcessor2_0]]

#### diffusers.models.attention_processor.SanaLinearAttnProcessor2_0[[diffusers.models.attention_processor.SanaLinearAttnProcessor2_0]]

```python
diffusers.models.attention_processor.SanaLinearAttnProcessor2_0()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L5341)

Bộ xử lý để triển khai chú ý tuyến tính tích vô hướng có tỷ lệ.

#### diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0[[diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0]]

```python
diffusers.models.attention_processor.SanaMultiscaleAttnProcessor2_0()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L5245)

Bộ xử lý để triển khai chú ý bậc hai đa tỷ lệ.

#### diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0[[diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0]]

```python
diffusers.models.attention_processor.PAGCFGSanaLinearAttnProcessor2_0()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L5393)

Bộ xử lý để triển khai chú ý tuyến tính tích vô hướng có tỷ lệ.

#### diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0[[diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0]]

```python
diffusers.models.attention_processor.PAGIdentitySanaLinearAttnProcessor2_0()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L5448)

Bộ xử lý để triển khai chú ý tuyến tính tích vô hướng có tỷ lệ.

## Stable Audio[[diffusers.models.attention_processor.StableAudioAttnProcessor2_0]]

#### diffusers.models.attention_processor.StableAudioAttnProcessor2_0[[diffusers.models.attention_processor.StableAudioAttnProcessor2_0]]

```python
diffusers.models.attention_processor.StableAudioAttnProcessor2_0()
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L2991)

Bộ xử lý để triển khai chú ý tích vô hướng có tỷ lệ (được bật mặc định nếu bạn đang sử dụng PyTorch 2.0). Nó được sử dụng trong mô hình Stable Audio. Nó áp dụng nhúng quay (rotary embedding) lên vector truy vấn và khóa, và cho phép MHA, GQA hoặc MQA.

## SlicedAttnProcessor[[diffusers.models.attention_processor.SlicedAttnProcessor]]

#### diffusers.models.attention_processor.SlicedAttnProcessor[[diffusers.models.attention_processor.SlicedAttnProcessor]]

```python
diffusers.models.attention_processor.SlicedAttnProcessor(slice_size: int)
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L4000)

**Tham số:**

slice_size (`int`, *optional*) : Số bước để tính attention. Sử dụng nhiều lát cắt bằng `attention_head_dim // slice_size`, và `attention_head_dim` phải là bội số của `slice_size`.

Bộ xử lý để triển khai chú ý phân lát.

#### diffusers.models.attention_processor.SlicedAttnAddedKVProcessor[[diffusers.models.attention_processor.SlicedAttnAddedKVProcessor]]

```python
diffusers.models.attention_processor.SlicedAttnAddedKVProcessor(slice_size)
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L4087)

**Tham số:**

slice_size (`int`, *optional*) : Số bước để tính attention. Sử dụng nhiều lát cắt bằng `attention_head_dim // slice_size`, và `attention_head_dim` phải là bội số của `slice_size`.

Bộ xử lý để triển khai chú ý lát cắt với các ma trận khóa và giá trị học được bổ sung cho bộ mã hóa văn bản.

## XFormersAttnProcessor[[diffusers.models.attention_processor.XFormersAttnProcessor]]

#### diffusers.models.attention_processor.XFormersAttnProcessor[[diffusers.models.attention_processor.XFormersAttnProcessor]]

```python
diffusers.models.attention_processor.XFormersAttnProcessor(attention_op: Callable | None = None)
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L2488)

**Tham số:**

attention_op (`Callable`, *tùy chọn*, mặc định là `None`) : [operator](https://facebookresearch.github.io/xformers/components/ops.html#xformers.ops.AttentionOpBase) cơ bản được sử dụng làm operator cho attention. Khuyến nghị đặt thành `None` và để xFormers tự chọn operator tối ưu nhất.

Bộ xử lý để triển khai chú ý tiết kiệm bộ nhớ bằng xFormers.

#### diffusers.models.attention_processor.XFormersAttnAddedKVProcessor[[diffusers.models.attention_processor.XFormersAttnAddedKVProcessor]]

```python
diffusers.models.attention_processor.XFormersAttnAddedKVProcessor(attention_op: Callable | None = None)
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L2417)

**Tham số:**

attention_op (`Callable`, *tùy chọn*, mặc định là `None`) : [operator](https://facebookresearch.github.io/xformers/components/ops.html#xformers.ops.AttentionOpBase) cơ bản được sử dụng làm operator cho attention. Khuyến nghị đặt thành `None` và để xFormers tự chọn operator tối ưu nhất.

Bộ xử lý để triển khai chú ý tiết kiệm bộ nhớ bằng xFormers.

## XLAFlashAttnProcessor2_0[[diffusers.models.attention_processor.XLAFlashAttnProcessor2_0]]

#### diffusers.models.attention_processor.XLAFlashAttnProcessor2_0[[diffusers.models.attention_processor.XLAFlashAttnProcessor2_0]]

```python
diffusers.models.attention_processor.XLAFlashAttnProcessor2_0(partition_spec: tuple[str | None, ...] | None = None)
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L2790)

Bộ xử lý để triển khai chú ý tích cóp có tỷ lệ với kernel flash attention pallas nếu đang sử dụng `torch_xla`.

## XFormersJointAttnProcessor[[diffusers.models.attention_processor.XFormersJointAttnProcessor]]

#### diffusers.models.attention_processor.XFormersJointAttnProcessor[[diffusers.models.attention_processor.XFormersJointAttnProcessor]]

```python
diffusers.models.attention_processor.XFormersJointAttnProcessor(attention_op: Callable | None = None)
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L1908)

**Tham số:**

attention_op (`Callable`, *tùy chọn*, mặc định là `None`) : [operator](https://facebookresearch.github.io/xformers/components/ops.html#xformers.ops.AttentionOpBase) cơ bản được sử dụng làm operator cho attention. Khuyến nghị đặt thành `None` và để xFormers tự chọn operator tối ưu nhất.

Bộ xử lý để triển khai chú ý tiết kiệm bộ nhớ bằng xFormers.

## IPAdapterXFormersAttnProcessor[[diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor]]

#### diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor[[diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor]]

```python
diffusers.models.attention_processor.IPAdapterXFormersAttnProcessor(hidden_size, cross_attention_dim = None, num_tokens = (4,), scale = 1.0, attention_op: Callable | None = None)
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L4640)

**Tham số:**

hidden_size (`int`) : Kích thước ẩn của lớp chú ý.

cross_attention_dim (`int`) : Số lượng kênh trong `encoder_hidden_states`.

num_tokens (`int`, `tuple[int]` hoặc `list[int]`, mặc định là `(4,)`) : Độ dài ngữ cảnh của các đặc trưng hình ảnh.

scale (`float` hoặc `list[float]`, mặc định là 1.0) : hệ số trọng số của image prompt.

attention_op (`Callable`, *tùy chọn*, mặc định là `None`) : [operator](https://facebookresearch.github.io/xformers/components/ops.html#xformers.ops.AttentionOpBase) cơ bản được sử dụng làm operator cho attention. Khuyến nghị đặt thành `None` và để xFormers tự chọn operator tối ưu nhất.

Bộ xử lý chú ý cho IP-Adapter sử dụng xFormers.

## FluxIPAdapterJointAttnProcessor2_0[[diffusers.models.attention_processor.FluxIPAdapterJointAttnProcessor2_0]]

#### diffusers.models.attention_processor.FluxIPAdapterJointAttnProcessor2_0[[diffusers.models.attention_processor.FluxIPAdapterJointAttnProcessor2_0]]

```python
diffusers.models.attention_processor.FluxIPAdapterJointAttnProcessor2_0(*args, **kwargs)
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L5539)

## XLAFluxFlashAttnProcessor2_0[[diffusers.models.attention_processor.XLAFluxFlashAttnProcessor2_0]]

#### diffusers.models.attention_processor.XLAFluxFlashAttnProcessor2_0[[diffusers.models.attention_processor.XLAFluxFlashAttnProcessor2_0]]

```python
diffusers.models.attention_processor.XLAFluxFlashAttnProcessor2_0(*args, **kwargs)
```

[Nguồn](https://github.com/huggingface/diffusers/blob/main/src/diffusers/models/attention_processor.py#L5579)

Bộ xử lý để triển khai chú ý tích cóp có tỷ lệ với kernel flash attention pallas nếu đang sử dụng `torch_xla`.