Intel Gaudi

Семейство ИИ-ускорителей Intel Gaudi включает Intel Gaudi 1, Intel Gaudi 2 и Intel Gaudi 3. Каждый сервер оснащён 8 устройствами, известными как Habana Processing Units (HPU), которые обеспечивают 128 ГБ памяти на Gaudi 3, 96 ГБ на Gaudi 2 и 32 ГБ на Gaudi первого поколения. Дополнительные сведения об архитектуре базового оборудования можно найти в обзоре Gaudi Architecture.

Пайплайны Diffusers могут использовать ускорение HPU, даже если пайплайн ещё не добавлен в Optimum for Intel Gaudi, с помощью GPU Migration Toolkit.

Вызовите .to("hpu") для вашего пайплайна, чтобы переместить его на устройство HPU, как показано ниже для Flux:

import torch
from diffusers import DiffusionPipeline

pipeline = DiffusionPipeline.from_pretrained("black-forest-labs/FLUX.1-schnell", dtype=torch.bfloat16)
pipeline.to("hpu")

image = pipeline("An image of a squirrel in Picasso style").images[0]

Для реализаций диффузионных пайплайнов, оптимизированных под Gaudi, мы рекомендуем использовать Optimum for Intel Gaudi.