Intel Gaudi

La famille d'accélérateurs IA Intel Gaudi comprend Intel Gaudi 1, Intel Gaudi 2 et Intel Gaudi 3. Chaque serveur est équipé de 8 dispositifs, connus sous le nom d'unités de traitement Habana (HPU), offrant 128 Go de mémoire sur Gaudi 3, 96 Go sur Gaudi 2 et 32 Go sur la première génération de Gaudi. Pour plus de détails sur l'architecture matérielle sous-jacente, consultez l'aperçu de l'architecture Gaudi.

Les pipelines Diffusers peuvent bénéficier de l’accélération HPU, même si un pipeline n’a pas encore été ajouté à Optimum for Intel Gaudi, grâce au GPU Migration Toolkit.

Appelez .to("hpu") sur votre pipeline pour le déplacer vers un appareil HPU, comme indiqué ci-dessous pour Flux :

import torch
from diffusers import DiffusionPipeline

pipeline = DiffusionPipeline.from_pretrained("black-forest-labs/FLUX.1-schnell", dtype=torch.bfloat16)
pipeline.to("hpu")

image = pipeline("An image of a squirrel in Picasso style").images[0]

Pour les implémentations de pipelines de diffusion optimisés pour Gaudi, nous recommandons d’utiliser Optimum for Intel Gaudi.