Intel Gaudi

Keluarga akselerator AI Intel Gaudi mencakup Intel Gaudi 1, Intel Gaudi 2, dan Intel Gaudi 3. Setiap server dilengkapi dengan 8 perangkat, yang dikenal sebagai Habana Processing Units (HPU), menyediakan memori 128GB pada Gaudi 3, 96GB pada Gaudi 2, dan 32GB pada Gaudi generasi pertama. Untuk detail lebih lanjut tentang arsitektur perangkat keras yang mendasarinya, lihat ringkasan Gaudi Architecture.

Pipeline Diffusers dapat memanfaatkan akselerasi HPU, bahkan jika pipeline belum ditambahkan ke Optimum for Intel Gaudi, dengan GPU Migration Toolkit.

Panggil .to("hpu") pada pipeline Anda untuk memindahkannya ke perangkat HPU seperti yang ditunjukkan di bawah ini untuk Flux:

import torch
from diffusers import DiffusionPipeline

pipeline = DiffusionPipeline.from_pretrained("black-forest-labs/FLUX.1-schnell", dtype=torch.bfloat16)
pipeline.to("hpu")

image = pipeline("An image of a squirrel in Picasso style").images[0]

Untuk implementasi pipeline difusi yang dioptimalkan untuk Gaudi, kami merekomendasikan penggunaan Optimum for Intel Gaudi.