Diffusers

AutoencoderKLLTX2Audio

Model 3D variational autoencoder (VAE) dengan KL loss yang digunakan dalam LTX-2 diperkenalkan oleh Lightricks. Model ini digunakan untuk mengodekan dan mendekodekan representasi laten audio.

Model dapat dimuat dengan potongan kode berikut.

from diffusers import AutoencoderKLLTX2Audio

vae = AutoencoderKLLTX2Audio.from_pretrained("Lightricks/LTX-2", subfolder="vae", dtype=torch.float32).to("cuda")  # or "mps", "xpu", "cpu"

AutoencoderKLLTX2Audio

kelas diffusers.AutoencoderKLLTX2Audio

< source >

( base_channels: int = 128output_channels: int = 2ch_mult: tuple = (1, 2, 4)num_res_blocks: int = 2attn_resolutions: tuple[int, ...] | None = Nonein_channels: int = 2resolution: int = 256latent_channels: int = 8norm_type: str = 'pixel'causality_axis: str | None = 'height'dropout: float = 0.0mid_block_add_attention: bool = Falsesample_rate: int = 16000mel_hop_length: int = 160is_causal: bool = Truemel_bins: int | None = 64double_z: bool = True )

LTX2 audio VAE untuk mengkodekan dan mendekodekan representasi laten audio.

encode

< source >

( x: Tensorreturn_dict: bool = True )

decode

< source >

( z: Tensorreturn_dict: bool = True )

forward

< source >

( sample: Tensorsample_posterior: bool = Falsereturn_dict: bool = Truegenerator: typing.Optional[torch.Generator] = None ) → DecoderOutput or tuple

Parameter

sample (torch.Tensor) — Sampel input.
sample_posterior (bool, opsional, default False) — Apakah akan mengambil sampel dari posterior.
return_dict (bool, opsional, default True) — Apakah akan mengembalikan DecoderOutput alih-alih tuple biasa.
generator (torch.Generator, opsional) — torch.Generator untuk membuat sampling menjadi deterministik.

Mengembalikan

DecoderOutput atau tuple

Jika return_dict bernilai True, sebuah DecoderOutput akan dikembalikan, selain itu sebuah tuple biasa akan dikembalikan.

Update on GitHub