Diffusers documentation
EulerDiscreteScheduler
EulerDiscreteScheduler
Scheduler Euler (Algoritma 2) berasal dari paper Elucidating the Design Space of Diffusion-Based Generative Models oleh Karras et al. Ini adalah scheduler yang cepat dan sering kali dapat menghasilkan output yang baik dalam 20-30 langkah. Scheduler ini didasarkan pada implementasi k-diffusion asli oleh Katherine Crowson.
EulerDiscreteScheduler
kelas diffusers.EulerDiscreteScheduler
< source >( num_train_timesteps: int = 1000beta_start: float = 0.0001beta_end: float = 0.02beta_schedule: str = 'linear'trained_betas: numpy.ndarray | list[float] | None = Noneprediction_type: str = 'epsilon'interpolation_type: str = 'linear'use_karras_sigmas: bool | None = Falseuse_exponential_sigmas: bool | None = Falseuse_beta_sigmas: bool | None = Falsesigma_min: float | None = Nonesigma_max: float | None = Nonetimestep_spacing: typing.Literal['linspace', 'leading', 'trailing'] = 'linspace'timestep_type: typing.Literal['discrete', 'continuous'] = 'discrete'steps_offset: int = 0rescale_betas_zero_snr: bool = Falsefinal_sigmas_type: typing.Literal['zero', 'sigma_min'] = 'zero' )
Parameter
- num_train_timesteps (
int, defaultnya 1000) — Jumlah langkah difusi untuk melatih model. - beta_start (
float, defaultnya 0.0001) — Nilaibetaawal untuk inferensi. - beta_end (
float, defaultnya 0.02) — Nilaibetaakhir. - beta_schedule (
Literal["linear", "scaled_linear", "squaredcos_cap_v2"], defaultnya"linear") — Jadwal beta, pemetaan dari rentang beta ke urutan beta untuk melangkahkan model. Pilih dari"linear","scaled_linear", atau"squaredcos_cap_v2". - trained_betas (
np.ndarray, opsional) — Lewatibeta_startdanbeta_enddengan meneruskan array betas langsung ke konstruktor. - prediction_type (
Literal["epsilon", "sample", "v_prediction"], defaults to"epsilon", optional) — Prediction type of the scheduler function; can be"epsilon"(predicts the noise of the diffusion process),"sample"(directly predicts the noisy sample) or“v_prediction”` (see section 2.4 of Imagen Video paper). - interpolation_type (
Literal["linear", "log_linear"], defaultnya"linear", opsional) — Jenis interpolasi untuk menghitung sigma antara untuk langkah-langkah denoising scheduler. Harus salah satu dari"linear"atau"log_linear". - use_karras_sigmas (
bool, opsional, defaultFalse) — Apakah akan menggunakan Karras sigmas untuk ukuran langkah dalam jadwal noise selama proses sampling. JikaTrue, sigma ditentukan berdasarkan urutan tingkat noise {σi}. - use_exponential_sigmas (
bool, opsional, defaultFalse) — Apakah akan menggunakan sigma eksponensial untuk ukuran langkah dalam jadwal noise selama proses sampling. - use_beta_sigmas (
bool, opsional, defaultFalse) — Apakah akan menggunakan beta sigmas untuk ukuran langkah dalam jadwal noise selama proses sampling. Lihat Beta Sampling is All You Need untuk informasi lebih lanjut. - sigma_min (
float, opsional) — Nilai sigma minimum untuk jadwal noise. Jika tidak disediakan, secara default menggunakan sigma terakhir dalam jadwal. - sigma_max (
float, opsional) — Nilai sigma maksimum untuk jadwal noise. Jika tidak disediakan, secara default menggunakan sigma pertama dalam jadwal. - timestep_spacing (
Literal["linspace", "leading", "trailing"], defaultnya"linspace") — Cara timestep harus diskalakan. Lihat Tabel 2 dari Common Diffusion Noise Schedules and Sample Steps are Flawed untuk informasi lebih lanjut. - timestep_type (
Literal["discrete", "continuous"], defaultnya"discrete") — Jenis timestep yang akan digunakan. Bisa berupa"discrete"atau"continuous". - steps_offset (
int, defaultnya 0) — Offset yang ditambahkan ke langkah inferensi, sesuai kebutuhan beberapa keluarga model. - rescale_betas_zero_snr (
bool, defaultnyaFalse) — Apakah akan menskalakan ulang betas agar memiliki SNR terminal nol. Hal ini memungkinkan model untuk menghasilkan sampel yang sangat terang dan gelap, alih-alih membatasi pada sampel dengan kecerahan sedang. Terkait secara longgar dengan--offset_noise. - final_sigmas_type (
Literal["zero", "sigma_min"], defaultnya"zero") — Nilaisigmaakhir untuk jadwal noise selama proses sampling. Jika"sigma_min", sigma akhir sama dengan sigma terakhir dalam jadwal pelatihan. Jika"zero", sigma akhir diatur ke 0.
Scheduler Euler.
Model ini mewarisi dari SchedulerMixin dan ConfigMixin. Periksa dokumentasi kelas induk untuk metode generik yang diimplementasikan pustaka ini untuk semua scheduler, seperti pemuatan dan penyimpanan.
add_noise
< source >( original_samples: Tensornoise: Tensortimesteps: Tensor ) → torch.Tensor
Parameter
- original_samples (
torch.Tensor) — Sampel asli yang akan ditambahkan dengan noise. - noise (
torch.Tensor) — Tensor noise yang akan ditambahkan ke sampel asli. - timesteps (
torch.Tensor) — Timesteps untuk menambahkan noise, yang menentukan tingkat noise dari jadwal.
Mengembalikan
torch.Tensor
Sampel berisik dengan tambahan noise yang diskalakan sesuai dengan jadwal timestep.
Tambahkan noise ke sampel asli sesuai dengan jadwal noise pada timestep yang ditentukan.
get_velocity
< source >( sample: Tensornoise: Tensortimesteps: Tensor ) → torch.Tensor
Parameter
- sample (
torch.Tensor) — Contoh input yang digunakan untuk menghitung kecepatan. - noise (
torch.Tensor) — Tensor noise yang sesuai dengan sampel. - timesteps (
torch.Tensor) — Timesteps untuk menghitung kecepatan.
Mengembalikan
torch.Tensor
Prediksi kecepatan yang dihitung sebagai sqrt(alpha_prod) * noise - sqrt(1 - alpha_prod) * sample.
Hitung prediksi kecepatan untuk sampel dan noise yang diberikan pada timestep yang ditentukan.
Metode ini mengimplementasikan prediksi kecepatan yang digunakan dalam model v-prediction, yang memprediksi kombinasi linear dari sampel dan noise.
index_for_timestep
< source >( timestep: typing.Union[float, torch.Tensor]schedule_timesteps: typing.Optional[torch.Tensor] = None ) → int
Parameter
- timestep (
floatatautorch.Tensor) — Nilai timestep yang akan dicari dalam jadwal. - schedule_timesteps (
torch.Tensor, opsional) — Jadwal timestep yang akan dicari. JikaNone, gunakanself.timesteps.
Mengembalikan
int
Indeks timestep dalam jadwal. Untuk langkah pertama, mengembalikan indeks kedua jika ada beberapa kecocokan untuk menghindari pengabaian sigma saat memulai di tengah jadwal (misalnya, untuk image-to-image).
Cari indeks dari timestep tertentu dalam jadwal timestep.
scale_model_input
< source >( sample: Tensortimestep: typing.Union[float, torch.Tensor] ) → torch.Tensor
Memastikan interoperabilitas dengan scheduler yang perlu menskalakan input model denoising berdasarkan timestep saat ini. Menskalakan input model denoising dengan (sigma**2 + 1) ** 0.5 untuk menyesuaikan dengan algoritma Euler.
set_begin_index
< source >( begin_index: int = 0 )
Menetapkan indeks awal untuk penjadwal. Fungsi ini harus dijalankan dari pipeline sebelum inferensi.
set_timesteps
< source >( num_inference_steps: int = Nonedevice: typing.Union[str, torch.device] = Nonetimesteps: list[int] | None = Nonesigmas: list[float] | None = None )
Parameter
- num_inference_steps (
int, opsional) — Jumlah langkah difusi yang digunakan saat menghasilkan sampel dengan model terlatih. JikaNone,timestepsatausigmasharus disediakan. - device (
stratautorch.device, opsional) — Perangkat tempat timesteps harus dipindahkan. JikaNone, timesteps tidak dipindahkan. - timesteps (
list[int], opsional) — Timesteps kustom yang digunakan untuk mendukung jadwal timesteps arbitrer. JikaNone, timesteps akan dihasilkan berdasarkan atributtimestep_spacing. Jikatimestepsdiberikan,num_inference_stepsdansigmasharus berupaNone, dan atributtimestep_spacingakan diabaikan. - sigmas (
list[float], opsional) — Sigmas kustom yang digunakan untuk mendukung jadwal timestep arbitrer. JikaNone, timestep dan sigmas akan dibangkitkan berdasarkan atribut scheduler yang relevan. Jikasigmasdiberikan,num_inference_stepsdantimestepsharusNone, dan timestep akan dibangkitkan berdasarkan jadwal sigmas kustom.
Menetapkan langkah waktu diskrit yang digunakan untuk rantai difusi (untuk dijalankan sebelum inferensi).
langkah
< source >( model_output: Tensortimestep: typing.Union[float, torch.Tensor]sample: Tensors_churn: float = 0.0s_tmin: float = 0.0s_tmax: float = infs_noise: float = 1.0generator: typing.Optional[torch.Generator] = Nonereturn_dict: bool = True ) → EulerDiscreteSchedulerOutput or tuple
Parameter
- model_output (
torch.Tensor) — Output langsung dari model difusi yang dipelajari. - timestep (
floatatautorch.Tensor) — Langkah waktu diskret saat ini dalam rantai difusi. - sample (
torch.Tensor) — Instans saat ini dari sampel yang dibuat oleh proses difusi. - s_churn (
float, opsional, default0.0) — Parameter stokastisitas yang mengatur jumlah noise yang ditambahkan selama sampling. Nilai yang lebih tinggi meningkatkan keacakan. - s_tmin (
float, opsional, default0.0) — Ambang batas timestep minimum untuk menerapkan stokastisitas. Hanya timestep di atas nilai ini yang akan ditambahkan noise. - s_tmax (
float, opsional, defaultinf) — Ambang batas timestep maksimum untuk menerapkan stochasticity. Hanya timestep di bawah nilai ini yang akan ditambahkan noise. - s_noise (
float, opsional, default1.0) — Faktor penskalaan untuk noise yang ditambahkan ke sampel. - generator (
torch.Generator, opsional) — Generator angka acak untuk pengambilan sampel yang dapat direproduksi. - return_dict (
bool, opsional, defaultTrue) — Apakah akan mengembalikan EulerDiscreteSchedulerOutput atau tuple.
Mengembalikan
EulerDiscreteSchedulerOutput atau tuple
Jika return_dict adalah True, EulerDiscreteSchedulerOutput yang dikembalikan, selain itu sebuah tuple yang dikembalikan di mana elemen pertama adalah tensor sampel dan elemen kedua adalah sampel asli yang diprediksi.
Prediksi sampel dari langkah waktu sebelumnya dengan membalik SDE. Fungsi ini menyebarkan proses difusi dari keluaran model yang dipelajari (paling sering berupa noise yang diprediksi).
EulerDiscreteSchedulerOutput
kelas diffusers.schedulers.scheduling_euler_discrete.EulerDiscreteSchedulerOutput
< source >( prev_sample: Tensorpred_original_sample: typing.Optional[torch.Tensor] = None )
Parameter
- prev_sample (
torch.Tensordengan bentuk(batch_size, num_channels, height, width)untuk gambar) — Contoh yang dihitung(x_{t-1})dari langkah waktu sebelumnya.prev_sampleharus digunakan sebagai input model berikutnya dalam loop denoising. - pred_original_sample (
torch.Tensordengan bentuk(batch_size, num_channels, height, width)untuk gambar) — Sampel denoised yang diprediksi(x_{0})berdasarkan output model dari timestep saat ini.pred_original_sampledapat digunakan untuk pratinjau progres atau untuk guidance.
Kelas output untuk output fungsi step penjadwal.