Процессор по умолчанию для выполнения вычислений, связанных с механизмом внимания.

Процессор для реализации масштабированного внимания на основе скалярного произведения (включен по умолчанию, если вы используете PyTorch 2.0).

Процессор для выполнения вычислений, связанных с механизмом внимания, с дополнительными обучаемыми матрицами ключей и значений для текстового энкодера.

Процессор для выполнения масштабированного внимания на основе скалярного произведения (включен по умолчанию при использовании PyTorch 2.0), с дополнительными обучаемыми матрицами ключей и значений для текстового энкодера.

Процессор для реализации flash attention с использованием torch_npu. Torch_npu поддерживает только типы данных fp16 и bf16. Если используется fp32, для вычислений будет применяться F.scaled_dot_product_attention, однако эффект ускорения на NPU незначителен.

Процессор для реализации масштабированного внимания на основе скалярного произведения (включен по умолчанию при использовании PyTorch 2.0). Он использует объединенные проекционные слои. Для модулей само-внимания все проекционные матрицы (т. е. query, key, value) объединяются. Для модулей кросс-внимания объединяются проекционные матрицы key и value.

> Этот API в настоящее время носит 🧪 экспериментальный характер и может измениться в будущем.

Процессор для реализации масштабированного внимания на основе скалярного произведения (включен по умолчанию при использовании PyTorch 2.0). Он используется в модели Allegro. Применяет слой нормализации и вращательное встраивание к векторам запроса и ключа.

Процессор внимания, обычно используемый при обработке Aura Flow.

Процессор внимания, обычно используемый при обработке Aura Flow со слиянием проекций.

Процессор для реализации масштабированного внимания на основе скалярного произведения для модели CogVideoX. Он применяет вращательное встраивание к векторам запроса и ключа, но не включает пространственную нормализацию.

Процессор для реализации масштабированного внимания на основе скалярного произведения для модели CogVideoX. Он применяет вращательное встраивание к векторам запроса и ключа, но не включает пространственную нормализацию.

Процессор для реализации масштабированного внимания на основе скалярного произведения с поддержкой Grouped Query Attention (GQA / MQA).

Идентичен AttnProcessor2_0, за исключением того, что ветка reshape для ключей/значений корректно обрабатывает случай attn.kv_heads != attn.heads, изменяя размерность K/V до kv_heads, а затем применяя repeat_interleave до attn.heads. Это необходимо для DreamLite UNet, который сочетает GQA с qk_norm — комбинацию, не поддерживаемую стандартным AttnProcessor2_0. Вызов SDPA делегируется dispatch_attention_fn, что позволяет использовать любой из бэкендов внимания diffusers (нативный PyTorch SDPA, FlashAttention и т. д.).

Процессор для реализации внимания в методе Custom Diffusion.

Процессор для реализации механизма внимания для метода Custom Diffusion с использованием эффективного по памяти масштабированного внимания на основе скалярного произведения в PyTorch 2.0.

Процессор для реализации эффективного по памяти внимания с использованием xFormers для метода Custom Diffusion.

Процессор для реализации масштабированного внимания на основе скалярного произведения (включен по умолчанию, если вы используете PyTorch 2.0).

Процессор для реализации масштабированного внимания на основе скалярного произведения (включен по умолчанию при использовании PyTorch 2.0). Он используется в модели HunyuanDiT. Применяет слой нормализации s и вращательное встраивание к векторам запроса и ключа.

Процессор для реализации масштабированного внимания на основе скалярного произведения (включен по умолчанию при использовании PyTorch 2.0) со слиянными слоями проекции. Используется в модели HunyuanDiT. Применяет слой нормализации s и вращательное встраивание к векторам запроса и ключа.

Процессор для реализации масштабированного внимания на основе скалярного произведения (включен по умолчанию при использовании PyTorch 2.0). Он используется в модели HunyuanDiT. Применяет слой нормализации и ротационное встраивание к векторам запроса и ключа. Этот вариант процессора использует Pertubed Attention Guidance.

Процессор для реализации масштабированного внимания на основе скалярного произведения (включен по умолчанию при использовании PyTorch 2.0). Он используется в модели HunyuanDiT. Применяет слой нормализации и ротационное встраивание к векторам запроса и ключа. Этот вариант процессора использует Pertubed Attention Guidance.

Процессор для реализации PAG с использованием масштабированного внимания на основе скалярного произведения (включено по умолчанию при использовании PyTorch 2.0). Ссылка на PAG: https://huggingface.co/papers/2403.17377

Процессор для реализации PAG с использованием масштабированного внимания на основе скалярного произведения (включено по умолчанию при использовании PyTorch 2.0). Ссылка на PAG: https://huggingface.co/papers/2403.17377

Процессор внимания для нескольких IP-адаптеров.

Процессор внимания для IP-Adapter для PyTorch 2.0.

Процессор внимания для IP-Adapter, обычно используемый при обработке проекций само-внимания в моделях типа SD3, с дополнительной информацией на основе изображений и эмбеддингами временных шагов.

Процессор внимания, обычно используемый при обработке проекций само-внимания в моделях типа SD3.

Процессор внимания, обычно используемый при обработке проекций само-внимания в моделях типа SD3.

Процессор внимания, обычно используемый при обработке проекций само-внимания в моделях типа SD3.

Процессор внимания, обычно используемый при обработке проекций само-внимания в моделях типа SD3.

Процессор для реализации внимания с LoRA.

Процессор для реализации внимания с LoRA (включен по умолчанию, если вы используете PyTorch 2.0).

Процессор для реализации внимания с LoRA с дополнительными обучаемыми матрицами ключей и значений для текстового энкодера.

Процессор для реализации внимания с использованием LoRA и xFormers.

Процессор для реализации масштабированного внимания на основе скалярного произведения (включен по умолчанию при использовании PyTorch 2.0). Он используется в модели LuminaNextDiT. Применяет слой нормализации s и вращательное встраивание к векторам запроса и ключа.

Процессор внимания, используемый в Mochi.

Процессор внимания, используемый в Mochi VAE.

Процессор для реализации линейного внимания с масштабированным скалярным произведением.

Процессор для реализации мультимасштабного квадратичного внимания.

Процессор для реализации линейного внимания с масштабированным скалярным произведением.

Процессор для реализации линейного внимания с масштабированным скалярным произведением.

Процессор для реализации масштабированного внимания на основе скалярного произведения (включен по умолчанию при использовании PyTorch 2.0). Он используется в модели Stable Audio. Применяет ротационное встраивание к векторам запроса и ключа и поддерживает MHA, GQA или MQA.

Процессор для реализации срединного внимания.

Процессор для реализации срезанного внимания с дополнительными обучаемыми матрицами ключей и значений для текстового энкодера.

Процессор для реализации экономного по памяти внимания с использованием xFormers.

Процессор для реализации экономного по памяти внимания с использованием xFormers.

Процессор для реализации масштабированного внимания на основе скалярного произведения с ядром pallas flash attention при использовании torch_xla.

Процессор для реализации экономного по памяти внимания с использованием xFormers.

Процессор внимания для IP-Adapter с использованием xFormers.

Процессор для реализации масштабированного внимания на основе скалярного произведения с ядром pallas flash attention при использовании torch_xla.