Hugging Face's logo

Diffusers documentation

AutoencoderOobleck

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

AutoencoderOobleck

O modelo de autoencoder variacional (VAE) Oobleck com perda KL foi introduzido em Stability-AI/stable-audio-tools e Stable Audio Open pela Stability AI. O modelo é usado no 🤗 Diffusers para codificar formas de onda de áudio em latentes e para decodificar representações latentes em formas de onda de áudio.

O resumo do artigo é:

Modelos generativos abertos são de extrema importância para a comunidade, pois permitem o ajuste fino e servem como linhas de base ao apresentar novos modelos. No entanto, a maioria dos modelos atuais de texto para áudio são privados e não acessíveis para que artistas e pesquisadores possam construir sobre eles. Aqui, descrevemos a arquitetura e o processo de treinamento de um novo modelo de texto para áudio com pesos abertos, treinado com dados Creative Commons. Nossa avaliação mostra que o desempenho do modelo é competitivo em relação ao estado da arte em diversas métricas. Notavelmente, os resultados de FDopenl3 relatados (que medem o realismo das gerações) demonstram seu potencial para síntese de som estéreo de alta qualidade a 44,1 kHz.

AutoencoderOobleck

classe diffusers.AutoencoderOobleck

< >

( encoder_hidden_size = 128downsampling_ratios = [2, 4, 4, 8, 8]channel_multiples = [1, 2, 4, 8, 16]decoder_channels = 128decoder_input_channels = 64audio_channels = 2sampling_rate = 44100 )

Parâmetros

  • encoder_hidden_size (int, opcional, padrão 128) — Dimensão da representação intermediária para o codificador.
  • downsampling_ratios (list[int], opcional, padrão [2, 4, 4, 8, 8]) — Razões para o downsampling no encoder. Elas são usadas em ordem reversa para o upsampling no decoder.
  • channel_multiples (list[int], opcional, padrão [1, 2, 4, 8, 16]) — Múltiplos usados para determinar os tamanhos ocultos das camadas ocultas.
  • decoder_channels (int, opcional, padrão 128) — Dimensão da representação intermediária para o decodificador.
  • decoder_input_channels (int, opcional, padrão 64) — Dimensão de entrada para o decodificador. Corresponde à dimensão latente.
  • audio_channels (int, opcional, padrão 2) — Número de canais nos dados de áudio. 1 para mono ou 2 para estéreo.
  • sampling_rate (int, opcional, padrão 44100) — A taxa de amostragem na qual a forma de onda de áudio deve ser digitalizada, expressa em hertz (Hz).

Um autoencoder para codificar formas de onda em latentes e decodificar representações latentes em formas de onda. Introduzido pela primeira vez no Stable Audio.

Este modelo herda de ModelMixin. Consulte a documentação da superclasse para seus métodos genéricos implementados para todos os modelos (como download ou salvamento).

decode

< >

( z: FloatTensorreturn_dict: bool = Truegenerator = None ) → ~models.vae.OobleckDecoderOutput or tuple

Parâmetros

  • z (torch.Tensor) — Lote de entrada de vetores latentes.
  • return_dict (bool, opcional, padrão True) — Se deve retornar um ~models.vae.OobleckDecoderOutput em vez de uma tupla simples.

Retorna

~models.vae.OobleckDecoderOutput ou tuple

If return_dict is True, a ~models.vae.OobleckDecoderOutput is returned, otherwise a plain tuple is returned.

Decodifique um lote de imagens.

encode

< >

( x: Tensorreturn_dict: bool = True )

Parâmetros

  • x (torch.Tensor) — Lote de entrada de imagens.
  • return_dict (bool, opcional, padrão True) — Se deve retornar um ~models.autoencoder_kl.AutoencoderKLOutput em vez de uma tupla simples.

Codifica um lote de imagens em latentes.

forward

< >

( sample: Tensorsample_posterior: bool = Falsereturn_dict: bool = Truegenerator: typing.Optional[torch.Generator] = None ) → ~models.vae.OobleckDecoderOutput or tuple

Parâmetros

  • sample (torch.Tensor) — Amostra de entrada.
  • sample_posterior (bool, opcional, padrão False) — Se deve amostrar da posterior.
  • return_dict (bool, opcional, padrão True) — Se deve ou não retornar um OobleckDecoderOutput em vez de uma tupla simples.
  • generator (torch.Generator, opcional) — Um torch.Generator para tornar a amostragem determinística.

Retorna

~models.vae.OobleckDecoderOutput ou tuple

Se return_dict for True, um ~models.vae.OobleckDecoderOutput é retornado; caso contrário, uma tuple simples é retornada.

OobleckDecoderOutput

classe diffusers.models.autoencoders.autoencoder_oobleck.OobleckDecoderOutput

< >

( sample: Tensor )

Parâmetros

  • sample (torch.Tensor de forma (batch_size, audio_channels, sequence_length)) — A amostra de saída decodificada da última camada do modelo.

Saída do método de decodificação.

AutoencoderOobleckOutput

classe diffusers.models.autoencoders.autoencoder_oobleck.AutoencoderOobleckOutput

< >

( latent_dist: OobleckDiagonalGaussianDistribution )

Parâmetros

  • latent_dist (OobleckDiagonalGaussianDistribution) — Saídas codificadas do Encoder representadas como a média e o desvio padrão de OobleckDiagonalGaussianDistribution. OobleckDiagonalGaussianDistribution permite amostrar latentes da distribuição.

Saída do método de codificação do AutoencoderOobleck.

Update on GitHub

←LTX2VideoDiffusionDecoderModel Tiny AutoEncoder→