Diffusers documentation
TCDScheduler
TCDScheduler
Jianbin Zheng、Minghui Hu、Zhongyi Fan、Chaoyue Wang、Changxing Ding、Dacheng Tao 和 Tat-Jen Cham 提出的 Trajectory Consistency Distillation 引入了一种策略性随机采样(Algorithm 4),能够在少量步数内生成优质样本。作为 Consistency Models 中多步调度器(Algorithm 1)的高级迭代版本,策略性随机采样专门针对轨迹一致性函数进行了定制。
该论文的摘要如下:
潜在一致性模型(LCM)将一致性模型扩展至潜在空间,并利用引导一致性蒸馏技术,在加速文本到图像合成方面取得了卓越的性能。然而,我们观察到 LCM 在生成兼具清晰度和细节丰富度的图像时存在困难。为了解决这一局限性,我们首先深入探究并阐明了其根本原因。我们的研究指出,主要问题源于三个不同方面的误差。因此,我们提出了轨迹一致性蒸馏(TCD),它包含轨迹一致性函数和策略性随机采样。轨迹一致性函数通过扩展自一致性边界条件的范围来减少蒸馏误差,并赋予 TCD 精确追踪概率流 ODE 完整轨迹的能力。此外,策略性随机采样专门设计用于规避多步一致性采样中固有的累积误差,并经过精心定制以配合 TCD 模型。实验表明,TCD 不仅在低 NFE 下显著提升了图像质量,而且在高 NFE 下相比教师模型能产生更精细的结果。
原始代码库可在 jabir-zheng/TCD 中找到。
TCDScheduler
class diffusers.TCDScheduler
< source >( num_train_timesteps: int = 1000beta_start: float = 0.00085beta_end: float = 0.012beta_schedule: str = 'scaled_linear'trained_betas: numpy.ndarray | list[float] | None = Noneoriginal_inference_steps: int = 50clip_sample: bool = Falseclip_sample_range: float = 1.0set_alpha_to_one: bool = Truesteps_offset: int = 0prediction_type: str = 'epsilon'thresholding: bool = Falsedynamic_thresholding_ratio: float = 0.995sample_max_value: float = 1.0timestep_spacing: str = 'leading'timestep_scaling: float = 10.0rescale_betas_zero_snr: bool = False )
参数
- num_train_timesteps (
int,默认为1000) — 用于训练模型的扩散步数。 - beta_start (
float,默认为0.00085) — 推理的起始beta值。 - beta_end (
float,默认为0.012) — 最终的beta值。 - beta_schedule (
str,默认为"scaled_linear") — Beta 调度,将 beta 范围映射为用于模型步进的一系列 beta 值。可选linear、scaled_linear或squaredcos_cap_v2。 - trained_betas(
np.ndarray或list[float],可选)— 直接传入 betas 数组到构造函数中,以绕过beta_start和beta_end。 - original_inference_steps (
int,默认为50) — 用于生成线性间隔时间步调度的默认推理步数,最终将从中均匀选取num_inference_steps个时间步,以构成最终的时间步调度。 - clip_sample (
bool,默认为False) — 对预测样本进行裁剪,以确保数值稳定性。 - clip_sample_range (
float,默认为1.0) — 样本裁剪的最大幅度。仅在clip_sample=True时有效。 - set_alpha_to_one (
bool,默认为True) — 每个扩散步骤都会使用当前步骤和上一步骤的 alpha 乘积值。对于最后一步,不存在上一步的 alpha。当此选项为True时,上一步的 alpha 乘积固定为1,否则使用步骤 0 的 alpha 值。 - steps_offset(
int,默认为0)— 添加到推理步数中的偏移量,某些模型系列需要此参数。 - prediction_type (
str, defaults to"epsilon") — Prediction type of the scheduler function; can beepsilon(predicts the noise of the diffusion process),sample(directly predicts the noisy sample) orv_prediction` (see section 2.4 of Imagen Video paper). - thresholding (
bool,默认为False) — 是否使用“动态阈值”方法。此方法不适用于 Stable Diffusion 等潜在空间扩散模型。 - dynamic_thresholding_ratio (
float, 默认值为0.995) — 动态阈值化方法的比例。仅在thresholding=True时有效。 - sample_max_value (
float,默认为1.0) — 动态阈值化的阈值。仅在thresholding=True时有效。 - timestep_spacing (
str,默认为"leading") — 时间步的缩放方式。更多信息请参阅 常见扩散噪声调度和采样步骤存在缺陷 中的表 2。 - timestep_scaling (
float,默认为10.0) — 在计算一致性模型边界条件c_skip和c_out时,时间步(timesteps)将被乘以的系数。增大该值会降低近似误差(尽管在默认值10.0下,近似误差已经相当小)。 - rescale_betas_zero_snr (
bool,默认为False) — 是否重新缩放 betas 以实现零终端 SNR。这使模型能够生成非常明亮和非常暗的样本,而不是将其限制在中等亮度的样本上。与--offset_noise大致相关。
TCDScheduler 引入了论文 Trajectory Consistency Distillation 中提出的 Strategic Stochastic Sampling,将原有的 Multistep Consistency Sampling 扩展为支持无限制的轨迹遍历。
此代码基于 TCD 的官方仓库(https://github.com/jabir-zheng/TCD)。
该模型继承自 SchedulerMixin 和 ConfigMixin。~ConfigMixin 负责存储通过调度器的 __init__ 函数传入的所有配置属性,例如 num_train_timesteps。可以通过 scheduler.config.num_train_timesteps 访问这些属性。SchedulerMixin 通过 SchedulerMixin.save_pretrained() 和 from_pretrained() 函数提供通用的加载和保存功能。
add_noise
< source >( original_samples: Tensornoise: Tensortimesteps: IntTensor ) → torch.Tensor
根据每个时间步的噪声幅度,向原始样本添加噪声(即前向扩散过程)。
get_velocity
< source >( sample: Tensornoise: Tensortimesteps: IntTensor ) → torch.Tensor
根据速度公式,从样本和噪声计算速度预测。
index_for_timestep
< source >( timestep: typing.Union[float, torch.Tensor]schedule_timesteps: typing.Optional[torch.Tensor] = None ) → int
查找给定时间步在时间步调度中的索引。
previous_timestep
< source >( timestep: int ) → int or torch.Tensor
计算扩散链中的前一个时间步。
scale_model_input
< source >( sample: Tensortimestep: typing.Union[int, torch.Tensor, NoneType] = None ) → torch.Tensor
确保与那些需要根据当前时间步对去噪模型输入进行缩放的调度器之间的可互换性。
设置调度器的起始索引。此函数应在推理之前从流水线中运行。
set_timesteps
< source >( num_inference_steps: int | None = Nonedevice: typing.Union[str, torch.device, NoneType] = Noneoriginal_inference_steps: int | None = Nonetimesteps: list[int] | None = Nonestrength: float = 1.0 )
参数
- num_inference_steps (
int, 可选) — 使用预训练模型生成样本时所用的扩散步数。如果使用了该参数,timesteps必须为None。 - device (
str或torch.device,可选) — 时间步应移动到的设备。如果为None,则不移动时间步。 - original_inference_steps (
int,可选) — 原始推理步数,用于生成线性间隔的时间步调度(与标准的diffusers实现不同)。随后,我们将按索引均匀地从该调度中选取num_inference_steps个时间步,并将其作为最终的时间步调度。如果未设置,则默认为original_inference_steps属性。 - timesteps (
list[int], 可选) — 用于支持任意时间步间隔的自定义时间步。如果为None,则使用训练/蒸馏时间步调度中时间步等间隔的默认时间步间隔策略。如果传入了timesteps,则num_inference_steps必须为None。 - strength (
float,默认为1.0) — 在使用 img2img、inpaint 等进行推理时,用于确定所使用的步数。
设置扩散链所使用的离散时间步(需在推理之前运行)。
步骤
< source >( model_output: Tensortimestep: typing.Union[int, torch.Tensor]sample: Tensoreta: float = 0.3generator: typing.Optional[torch.Generator] = Nonereturn_dict: bool = True ) → TCDSchedulerOutput or tuple[torch.Tensor, torch.Tensor]
参数
- model_output (
torch.Tensor) — 学习到的扩散模型的直接输出。 - timestep (
int或torch.Tensor) — 扩散链中的当前离散时间步。 - sample (
torch.Tensor) — 扩散过程生成的样本的当前实例。 - eta (
float,默认为0.3) — 一个随机参数(在论文中称为gamma),用于控制每一步的随机性。当 eta = 0 时,表示确定性采样;而 eta = 1 则表示完全随机采样。 - generator (
torch.Generator,可选) — 随机数生成器。 - return_dict (
bool,默认为True) — 是否返回 TCDSchedulerOutput 或tuple。
返回值
TCDSchedulerOutput 或 tuple[torch.Tensor, torch.Tensor]
If return_dict is True, TCDSchedulerOutput is returned, otherwise a
tuple is returned containing the previous sample and the predicted noised sample.
通过逆向 SDE 预测上一时间步的样本。此函数将扩散过程从学习到的模型输出(通常是预测的噪声)进行传播。
TCDSchedulerOutput
class diffusers.schedulers.scheduling_tcd.TCDSchedulerOutput
< source >( prev_sample: Tensorpred_noised_sample: typing.Optional[torch.Tensor] = None )
调度器 step 函数输出的输出类。