Hugging Face's logo

Diffusers documentation

AutoencoderKLKVAEAudio

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

AutoencoderKLKVAEAudio

Un auto-encodeur variationnel convolutif 1D (VAE) avec perte KL pour l'audio, introduit par l'équipe Kandinsky Lab dans KVAE-Audio. Il compresse les formes d'onde brutes, à bande complète (48 kHz), en latents continus compacts et les reconstruit avec une haute fidélité pour la parole, la musique et l'audio général.

Le modèle peut être chargé à l'aide du fragment de code suivant.

import torch
from diffusers import AutoencoderKLKVAEAudio

vae = AutoencoderKLKVAEAudio.from_pretrained("kandinskylab/KVAE-Audio", subfolder="diffusers", dtype=torch.float32)

AutoencoderKLKVAEAudio

classe diffusers.AutoencoderKLKVAEAudio

< >

( encoder_dim: int = 64encoder_rates: list = [2, 3, 4, 5, 8]latent_dim: int = 2048codebook_dim: int = 64decoder_dim: int = 1536decoder_rates: list = [8, 5, 4, 3, 2]sample_rate: int = 48000num_channels: int = 1attn_num_heads: int = 8 )

Paramètres

  • encoder_dim (int, facultatif, valeur par défaut 64) — Dimension de base des canaux de l’encodeur ; doublée à chaque étape de sous-échantillonnage.
  • encoder_rates (list[int], facultatif, par défaut [2, 3, 4, 5, 8]) — Pas de sous-échantillonnage dans l'encodeur.
  • latent_dim (int, facultatif, valeur par défaut 2048) — Dimension des canaux de la sortie de l’encodeur (avant le goulot d’étranglement in_proj).
  • codebook_dim (int, facultatif, valeur par défaut 64) — Dimension des canaux de l’espace latent de la distribution a posteriori (après le goulot d’étranglement in_proj).
  • decoder_dim (int, facultatif, valeur par défaut 1536) — Dimension de base des canaux du décodeur ; divisée par deux à chaque étape de suréchantillonnage.
  • decoder_rates (list[int], facultatif, par défaut [8, 5, 4, 3, 2]) — Pas pour le rééchantillonnage par interpolation dans le décodeur.
  • sample_rate (int, facultatif, valeur par défaut 48000) — Le taux d'échantillonnage, en Hz, sur lequel le modèle a été entraîné.
  • num_channels (int, facultatif, valeur par défaut 1) — Nombre de canaux dans les données audio (1 pour le mono).
  • attn_num_heads (int, facultatif, valeur par défaut 8) — Nombre de têtes dans le bloc d'auto-attention appliqué à la sortie de l'encodeur.

Un auto-encodeur convolutif 1D pour encoder les formes d'onde audio brutes en latents continus et les décoder à nouveau en formes d'onde. Introduit dans KVAE-Audio.

Ce modèle hérite de ModelMixin. Consultez la documentation de la classe parente pour ses méthodes génériques implémentées pour tous les modèles (téléchargement ou sauvegarde, par exemple).

décoder

< >

( z: Tensorreturn_dict: bool = True ) → DecoderOutput or tuple

Paramètres

  • z (torch.Tensor) — Lot d’entrée de vecteurs latents.
  • return_dict (bool, facultatif, par défaut True) — Indique s'il faut retourner un DecoderOutput plutôt qu'un simple tuple.

Retourne

DecoderOutput ou tuple

Si return_dict est True, un DecoderOutput est renvoyé, sinon un simple tuple est renvoyé.

Décoder un lot de latents en formes d’onde audio.

encode

< >

( audio_data: Tensorreturn_dict: bool = True )

Paramètres

  • audio_data (torch.Tensor de forme (batch_size, num_channels, num_samples)) — Lot d'entrée de formes d'onde audio brutes.
  • return_dict (bool, facultatif, par défaut True) — Indique s'il faut retourner un ~models.autoencoder_kl.AutoencoderKLOutput plutôt qu'un simple tuple.

Encode un lot de formes d'onde audio en latents.

forward

< >

( sample: Tensorsample_posterior: bool = Falsereturn_dict: bool = Truegenerator: typing.Optional[torch.Generator] = None ) → DecoderOutput or tuple

Paramètres

  • sample (torch.Tensor de forme (batch_size, num_channels, num_samples)) — Lot d'entrée de formes d'onde audio brutes.
  • sample_posterior (bool, facultatif, par défaut False) — Indique s'il faut échantillonner à partir de la postérieure.
  • return_dict (bool, facultatif, par défaut True) — Indique s'il faut retourner un DecoderOutput plutôt qu'un simple tuple.
  • generator (torch.Generator, facultatif) — Un torch.Generator pour rendre l'échantillonnage déterministe.

Retourne

DecoderOutput ou tuple

Si return_dict est True, un DecoderOutput est renvoyé, sinon un simple tuple est renvoyé.

Update on GitHub

←AutoencoderKLKVAE AutoencoderKLKVAEVideo→