Diffusers documentation
TCDScheduler
TCDScheduler
Trajectory Consistency Distillation, de Jianbin Zheng, Minghui Hu, Zhongyi Fan, Chaoyue Wang, Changxing Ding, Dacheng Tao e Tat-Jen Cham, introduziu o Strategic Stochastic Sampling (Algoritmo 4), capaz de gerar bons exemplos em um pequeno número de etapas. Diferenciando-o como uma iteração avançada do multistep scheduler (Algoritmo 1) dos Consistency Models, o Strategic Stochastic Sampling foi especificamente adaptado para a função de consistência de trajetória.
O resumo do artigo é:
O Latent Consistency Model (LCM) estende o Consistency Model para o espaço latente e utiliza a técnica de destilação de consistência guiada para alcançar um desempenho impressionante na aceleração da síntese de texto para imagem. No entanto, observamos que o LCM tem dificuldade em gerar imagens com clareza e intrincados detalhes simultaneamente. Para abordar essa limitação, inicialmente investigamos e elucidamos as causas subjacentes. Nossa investigação identifica que o problema principal decorre de erros em três áreas distintas. Consequentemente, introduzimos a Trajectory Consistency Distillation (TCD), que abrange a função de consistência de trajetória e a amostragem estocástica estratégica. A função de consistência de trajetória reduz os erros de destilação ao ampliar o escopo da condição de fronteira de autoconsistência e ao conferir à TCD a capacidade de rastrear com precisão toda a trajetória da Probability Flow ODE. Além disso, a amostragem estocástica estratégica foi projetada especificamente para contornar os erros acumulados inerentes à amostragem de consistência em múltiplas etapas, sendo meticulosamente adaptada para complementar o modelo TCD. Os experimentos demonstram que a TCD não apenas melhora significativamente a qualidade da imagem em baixos NFEs, mas também produz resultados mais detalhados em comparação com o modelo professor em altos NFEs.
O código original pode ser encontrado em jabir-zheng/TCD.
TCDScheduler
classe diffusers.TCDScheduler
< source >( num_train_timesteps: int = 1000beta_start: float = 0.00085beta_end: float = 0.012beta_schedule: str = 'scaled_linear'trained_betas: numpy.ndarray | list[float] | None = Noneoriginal_inference_steps: int = 50clip_sample: bool = Falseclip_sample_range: float = 1.0set_alpha_to_one: bool = Truesteps_offset: int = 0prediction_type: str = 'epsilon'thresholding: bool = Falsedynamic_thresholding_ratio: float = 0.995sample_max_value: float = 1.0timestep_spacing: str = 'leading'timestep_scaling: float = 10.0rescale_betas_zero_snr: bool = False )
Parâmetros
- num_train_timesteps (
int, padrão1000) — O número de etapas de difusão para treinar o modelo. - beta_start (
float, padrão0.00085) — O valor inicial debetapara a inferência. - beta_end (
float, padrão0.012) — O valor final debeta. - beta_schedule (
str, padrão"scaled_linear") — O agendamento de beta, um mapeamento de um intervalo de betas para uma sequência de betas para o avanço do modelo. Escolha entrelinear,scaled_linearousquaredcos_cap_v2. - trained_betas (
np.ndarrayoulist[float], opcional) — Passe um array de betas diretamente para o construtor para ignorarbeta_startebeta_end. - original_inference_steps (
int, padrão50) — O número padrão de etapas de inferência usado para gerar um cronograma de timesteps linearmente espaçados, do qual, em última análise, extrairemosnum_inference_stepstimesteps igualmente espaçados para formar o cronograma final de timesteps. - clip_sample (
bool, padrãoFalse) — Recorta a amostra prevista para estabilidade numérica. - clip_sample_range (
float, padrão1.0) — A magnitude máxima para o recorte de amostras. Válido apenas quandoclip_sample=True. - set_alpha_to_one (
bool, padrãoTrue) — Cada etapa de difusão usa o valor do produto dos alfas nessa etapa e na etapa anterior. Para a etapa final, não há um alfa anterior. Quando esta opção éTrue, o produto do alfa anterior é fixado em1; caso contrário, é usado o valor do alfa na etapa 0. - steps_offset (
int, padrão0) — Um deslocamento adicionado às etapas de inferência, conforme exigido por algumas famílias de modelos. - prediction_type (
str, defaults to"epsilon") — Prediction type of the scheduler function; can beepsilon(predicts the noise of the diffusion process),sample(directly predicts the noisy sample) orv_prediction` (see section 2.4 of Imagen Video paper). - thresholding (
bool, padrãoFalse) — Se deve usar o método de “limiar dinâmico”. Isso não é adequado para modelos de difusão em espaço latente, como o Stable Diffusion. - dynamic_thresholding_ratio (
float, padrão0.995) — A proporção para o método de limitação dinâmica. Válido apenas quandothresholding=True. - sample_max_value (
float, padrão1.0) — O valor de limiar para o thresholding dinâmico. Válido apenas quandothresholding=True. - timestep_spacing (
str, padrão"leading") — A forma como os timesteps devem ser escalados. Consulte a Tabela 2 do artigo Common Diffusion Noise Schedules and Sample Steps are Flawed para mais informações. - timestep_scaling (
float, padrão10.0) — O fator pelo qual os timesteps serão multiplicados ao calcular as condições de fronteira do modelo de consistênciac_skipec_out. Aumentar esse valor reduz o erro de aproximação (embora o erro de aproximação com o padrão de10.0já seja bastante pequeno). - rescale_betas_zero_snr (
bool, padrãoFalse) — Se deve reescalar os betas para ter SNR terminal zero. Isso permite que o modelo gere amostras muito claras e escuras, em vez de limitá-lo a amostras com brilho médio. Relacionado de forma solta a--offset_noise.
TCDScheduler incorpora o Strategic Stochastic Sampling introduzido pelo artigo Trajectory Consistency Distillation, estendendo o Multistep Consistency Sampling original para permitir a travessia irrestrita de trajetórias.
Este código é baseado no repositório oficial do TCD(https://github.com/jabir-zheng/TCD).
Este modelo herda de SchedulerMixin e ConfigMixin. ~ConfigMixin cuida de armazenar todos os atributos de configuração que são passados na função __init__ do scheduler, como num_train_timesteps. Eles podem ser acessados via scheduler.config.num_train_timesteps. SchedulerMixin fornece funcionalidade geral de carregamento e salvamento por meio das funções SchedulerMixin.save_pretrained() e from_pretrained().
add_noise
< source >( original_samples: Tensornoise: Tensortimesteps: IntTensor ) → torch.Tensor
Adicione ruído às amostras originais de acordo com a magnitude do ruído em cada timestep (este é o processo de difusão direta).
get_velocity
< source >( sample: Tensornoise: Tensortimesteps: IntTensor ) → torch.Tensor
Calcule a previsão de velocidade a partir da amostra e do ruído de acordo com a fórmula de velocidade.
index_for_timestep
< source >( timestep: typing.Union[float, torch.Tensor]schedule_timesteps: typing.Optional[torch.Tensor] = None ) → int
Parâmetros
- timestep (
floatoutorch.Tensor) — O valor de timestep a ser encontrado no agendamento. - schedule_timesteps (
torch.Tensor, opcional) — O agendamento de timesteps a ser pesquisado. SeNone, usaself.timesteps.
Retorna
int
O índice do timestep no schedule. Para o primeiro passo, retorna o segundo índice se existirem múltiplas correspondências, a fim de evitar pular um sigma ao iniciar no meio do schedule (por exemplo, para image-to-image).
Encontre o índice de um timestep específico na agenda de timesteps.
previous_timestep
< source >( timestep: int ) → int or torch.Tensor
Calcule o passo de tempo anterior na cadeia de difusão.
scale_model_input
< source >( sample: Tensortimestep: typing.Union[int, torch.Tensor, NoneType] = None ) → torch.Tensor
Garante a intercambiabilidade com agendadores que precisam escalar a entrada do modelo de desruidamento dependendo do passo de tempo atual.
set_begin_index
< source >( begin_index: int = 0 )
Define o índice inicial para o agendador. Esta função deve ser executada a partir do pipeline antes da inferência.
set_timesteps
< source >( num_inference_steps: int | None = Nonedevice: typing.Union[str, torch.device, NoneType] = Noneoriginal_inference_steps: int | None = Nonetimesteps: list[int] | None = Nonestrength: float = 1.0 )
Parâmetros
- num_inference_steps (
int, opcional) — O número de etapas de difusão usadas ao gerar amostras com um modelo pré-treinado. Se usado,timestepsdeve serNone. - device (
stroutorch.device, opcional) — O dispositivo para o qual os timesteps devem ser movidos. SeNone, os timesteps não são movidos. - original_inference_steps (
int, opcional) — O número original de etapas de inferência, que será usado para gerar um cronograma de timesteps linearmente espaçados (que é diferente da implementação padrão dodiffusers). Em seguida, tomaremosnum_inference_stepstimesteps desse cronograma, espaçados uniformemente em termos de índices, e usaremos isso como nosso cronograma final de timesteps. Se não for definido, o valor padrão será o atributooriginal_inference_steps. - timesteps (
list[int], opcional) — Passos de tempo personalizados usados para suportar espaçamento arbitrário entre os passos de tempo. SeNone, a estratégia padrão de espaçamento de passos de tempo, com espaçamento igual entre os passos de tempo no agendamento de treinamento/destilação, é utilizada. Setimestepsfor passado,num_inference_stepsdeve serNone. - strength (
float, padrão1.0) — Usado para determinar o número de timesteps usados para inferência ao usar img2img, inpaint, etc.
Define os passos discretos usados para a cadeia de difusão (a ser executado antes da inferência).
etapa
< source >( model_output: Tensortimestep: typing.Union[int, torch.Tensor]sample: Tensoreta: float = 0.3generator: typing.Optional[torch.Generator] = Nonereturn_dict: bool = True ) → TCDSchedulerOutput or tuple[torch.Tensor, torch.Tensor]
Parâmetros
- model_output (
torch.Tensor) — A saída direta do modelo de difusão aprendido. - timestep (
intoutorch.Tensor) — O timestep discreto atual na cadeia de difusão. - sample (
torch.Tensor) — Uma instância atual de uma amostra criada pelo processo de difusão. - eta (
float, padrão0.3) — Um parâmetro estocástico (referido comogammano artigo) usado para controlar a estocasticidade em cada passo. Quando eta = 0, representa amostragem determinística, enquanto eta = 1 indica amostragem totalmente estocástica. - generator (
torch.Generator, opcional) — Um gerador de números aleatórios. - return_dict (
bool, padrãoTrue) — Se deve ou não retornar um TCDSchedulerOutput outuple.
Retorna
TCDSchedulerOutput ou tuple[torch.Tensor, torch.Tensor]
If return_dict is True, TCDSchedulerOutput is returned, otherwise a
tuple is returned containing the previous sample and the predicted noised sample.
Preveja a amostra do passo de tempo anterior revertendo o SDE. Esta função propaga o processo de difusão a partir das saídas do modelo aprendido (na maioria das vezes, o ruído previsto).
TCDSchedulerOutput
classe diffusers.schedulers.scheduling_tcd.TCDSchedulerOutput
< source >( prev_sample: Tensorpred_noised_sample: typing.Optional[torch.Tensor] = None )
Parâmetros
- prev_sample (
torch.Tensorde forma(batch_size, num_channels, height, width)para imagens) — Amostra calculada(x_{t-1})do passo de tempo anterior.prev_sampledeve ser usado como entrada do modelo no loop de remoção de ruído. - pred_noised_sample (
torch.Tensorde forma(batch_size, num_channels, height, width)para imagens, opcional) — A amostra com ruído prevista(x_{s})com base na saída do modelo do timestep atual.
Classe de saída para a saída da função step do agendador.