AutoencoderKLKVAEAudio

Kandinsky Lab Ekibi tarafından KVAE-Audio makalesinde tanıtılan, ses için KL kaybı kullanan 1B konvolüsyonel varyasyonel otoenkoder (VAE). Ham, tam bant (48 kHz) dalga formlarını kompakt sürekli latentlere sıkıştırır ve konuşma, müzik ve genel ses için yüksek sadakatle yeniden oluşturur.

Model, aşağıdaki kod parçasıyla yüklenebilir.

import torch
from diffusers import AutoencoderKLKVAEAudio

vae = AutoencoderKLKVAEAudio.from_pretrained("kandinskylab/KVAE-Audio", subfolder="diffusers", dtype=torch.float32)

AutoencoderKLKVAEAudio

sınıf diffusers.AutoencoderKLKVAEAudio

< source >

( encoder_dim: int = 64encoder_rates: list = [2, 3, 4, 5, 8]latent_dim: int = 2048codebook_dim: int = 64decoder_dim: int = 1536decoder_rates: list = [8, 5, 4, 3, 2]sample_rate: int = 48000num_channels: int = 1attn_num_heads: int = 8 )

Parametreler

encoder_dim (int, isteğe bağlı, varsayılan 64) — Kodlayıcı için temel kanal boyutu; her alt örnekleme aşamasında iki katına çıkar.
encoder_rates (list[int], isteğe bağlı, varsayılan [2, 3, 4, 5, 8]) — Kodlayıcıda örnekleme azaltma için adımlar.
latent_dim (int, isteğe bağlı, varsayılan 2048) — Kodlayıcı çıktısının kanal boyutu (in_proj darboğazından önce).
codebook_dim (int, isteğe bağlı, varsayılan 64) — Posterior dağılımının gizli uzayının kanal boyutu (in_proj darboğazından sonra).
decoder_dim (int, isteğe bağlı, varsayılan 1536) — Çözücü için temel kanal boyutu; her örnekleme aşamasında yarıya iner.
decoder_rates (list[int], isteğe bağlı, varsayılan [8, 5, 4, 3, 2]) — Çözücüdeki örnekleme artırma (upsampling) için adımlar.
sample_rate (int, isteğe bağlı, varsayılan 48000) — Modelin eğitildiği, Hz cinsinden örneklem hızı.
num_channels (int, isteğe bağlı, varsayılan 1) — Ses verisindeki kanal sayısı (mono için 1).
attn_num_heads (int, isteğe bağlı, varsayılan 8) — Kodlayıcı çıktısına uygulanan öz-dikkat bloğundaki baş sayısı.

Ham ses dalga formlarını sürekli latentlere kodlamak ve bunları tekrar dalga formlarına çözmek için kullanılan 1B konvolüsyonlu otoenkoder. KVAE-Audio'de tanıtıldı.

Bu model ModelMixin sınıfından devralır. Tüm modeller için uygulanan genel yöntemleri (indirme veya kaydetme gibi) görmek için üst sınıfın belgelendirmesine bakın.

decode

< source >

( z: Tensorreturn_dict: bool = True ) → DecoderOutput or tuple

Parametreler

z (torch.Tensor) — Girdi partisi latent vektörleri.
return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine DecoderOutput döndürülüp döndürülmemesi.

Dönüş değeri

DecoderOutput veya tuple

return_dict True ise, DecoderOutput döndürülür, aksi takdirde düz bir tuple döndürülür.

Bir latent grubunu ses dalga formlarına çözümler.

encode

< source >

( audio_data: Tensorreturn_dict: bool = True )

Parametreler

audio_data (torch.Tensor, şekli (batch_size, num_channels, num_samples)) — Ham ses dalga formlarının giriş partisi.
return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine ~models.autoencoder_kl.AutoencoderKLOutput döndürülüp döndürülmediğini belirtir.

Bir ses dalgası grubunu latente kodlayın.

forward

< source >

( sample: Tensorsample_posterior: bool = Falsereturn_dict: bool = Truegenerator: typing.Optional[torch.Generator] = None ) → DecoderOutput or tuple

Parametreler

sample (torch.Tensor, şekli (batch_size, num_channels, num_samples)) — Ham ses dalga formlarından oluşan giriş partisi.
sample_posterior (bool, isteğe bağlı, varsayılan False) — Posterior'dan örneklemeye alınıp alınmayacağı.
return_dict (bool, isteğe bağlı, varsayılan True) — Düz bir tuple yerine DecoderOutput döndürülüp döndürülmemesi.
generator (torch.Generator, isteğe bağlı) — Örnekleme işlemini deterministik hale getirmek için kullanılan bir torch.Generator.

Dönüş değeri

DecoderOutput veya tuple

return_dict True ise DecoderOutput döndürülür, aksi halde düz bir tuple döndürülür.

Update on GitHub

Diffusers

AutoencoderKLKVAEAudio