Diffusers documentation
Ikhtisar
Ikhtisar
๐ค Diffusers menyediakan kumpulan skrip pelatihan untuk melatih model difusi Anda sendiri. Anda dapat menemukan semua skrip pelatihan kami di diffusers/examples.
Setiap skrip pelatihan adalah:
- Terintegrasi: skrip pelatihan tidak bergantung pada file lokal mana pun, dan semua paket yang diperlukan untuk menjalankan skrip diinstal dari file
requirements.txt. - Mudah disesuaikan: skrip pelatihan adalah contoh cara melatih model difusi untuk tugas tertentu dan tidak akan langsung berfungsi untuk setiap skenario pelatihan. Anda kemungkinan perlu menyesuaikan skrip pelatihan untuk kasus penggunaan spesifik Anda. Untuk membantu Anda, kami sepenuhnya membuka kode pra-pemrosesan data dan loop pelatihan sehingga Anda dapat memodifikasinya untuk penggunaan Anda sendiri.
- Mudah untuk pemula: skrip pelatihan dirancang agar ramah bagi pemula dan mudah dipahami, bukan menyertakan metode state-of-the-art terbaru untuk mendapatkan hasil terbaik dan paling kompetitif. Metode pelatihan yang kami anggap terlalu kompleks sengaja tidak disertakan.
- Bertujuan tunggal: setiap skrip pelatihan dirancang secara khusus hanya untuk satu tugas agar tetap mudah dibaca dan dipahami.
Koleksi skrip pelatihan kami saat ini mencakup:
| Pelatihan | Dukungan SDXL | Dukungan LoRA |
|---|---|---|
| generasi gambar tanpa syarat | ||
| teks-ke-gambar | ๐ | ๐ |
| inversi teks | ||
| DreamBooth | ๐ | ๐ |
| ControlNet | ๐ | |
| InstructPix2Pix | ๐ | |
| Custom Diffusion | ||
| T2I-Adapters | ๐ | |
| Kandinsky 2.2 | ๐ |
Contoh-contoh ini dipelihara secara aktif, jadi silakan buka issue jika tidak berfungsi sesuai harapan. Jika Anda merasa contoh pelatihan lain harus disertakan, Anda sangat dipersilakan untuk memulai Feature Request untuk mendiskusikan ide fitur Anda dengan kami dan apakah fitur tersebut memenuhi kriteria kami, yaitu mandiri, mudah disesuaikan, ramah pemula, dan berfokus pada satu tujuan.
Instal
Pastikan Anda dapat menjalankan versi terbaru dari skrip contoh dengan sukses dengan menginstal pustaka dari sumber dalam lingkungan virtual baru:
git clone https://github.com/huggingface/diffusers
cd diffusers
pip install .Lalu, navigasikan ke folder skrip pelatihan (misalnya, DreamBooth) dan instal file requirements.txt. Beberapa skrip pelatihan memiliki file persyaratan khusus untuk SDXL atau LoRA. Jika Anda menggunakan salah satu skrip ini, pastikan Anda menginstal file persyaratan yang sesuai.
cd examples/dreambooth
pip install -r requirements.txt
# to train SDXL with DreamBooth
pip install -r requirements_sdxl.txtUntuk mempercepat pelatihan dan mengurangi penggunaan memori, kami merekomendasikan:
- menggunakan PyTorch 2.0 atau lebih tinggi untuk secara otomatis menggunakan scaled dot product attention selama pelatihan (Anda tidak perlu melakukan perubahan apa pun pada kode pelatihan)
- menginstal xFormers untuk mengaktifkan perhatian yang hemat memori