Hugging Face's logo

Diffusers documentation

AutoencoderKLLTX2Video

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

AutoencoderKLLTX2Video

El modelo de autoencoder variacional (VAE) 3D con pérdida KL utilizado en LTX-2 fue introducido por Lightricks.

El modelo se puede cargar con el siguiente fragmento de código.

from diffusers import AutoencoderKLLTX2Video

vae = AutoencoderKLLTX2Video.from_pretrained("Lightricks/LTX-2", subfolder="vae", dtype=torch.float32).to("cuda")  # or "mps", "xpu", "cpu"

AutoencoderKLLTX2Video

clase diffusers.AutoencoderKLLTX2Video

< >

( in_channels: int = 3out_channels: int = 3latent_channels: int = 128block_out_channels: tuple = (256, 512, 1024, 2048)down_block_types: tuple = ('LTX2VideoDownBlock3D', 'LTX2VideoDownBlock3D', 'LTX2VideoDownBlock3D', 'LTX2VideoDownBlock3D')decoder_block_out_channels: tuple = (256, 512, 1024)layers_per_block: tuple = (4, 6, 6, 2, 2)decoder_layers_per_block: tuple = (5, 5, 5, 5)spatio_temporal_scaling: bool | tuple[bool, ...] = (True, True, True, True)decoder_spatio_temporal_scaling: bool | tuple[bool, ...] = (True, True, True)decoder_inject_noise: bool | tuple[bool, ...] = (False, False, False, False)downsample_type: tuple = ('spatial', 'temporal', 'spatiotemporal', 'spatiotemporal')upsample_type: tuple = ('spatiotemporal', 'spatiotemporal', 'spatiotemporal')upsample_residual: bool | tuple[bool, ...] = (True, True, True)upsample_factor: tuple = (2, 2, 2)timestep_conditioning: bool = Falsepatch_size: int = 4patch_size_t: int = 1resnet_norm_eps: float = 1e-06scaling_factor: float = 1.0encoder_causal: bool = Truedecoder_causal: bool = Trueencoder_spatial_padding_mode: str = 'zeros'decoder_spatial_padding_mode: str = 'reflect'spatial_compression_ratio: int = Nonetemporal_compression_ratio: int = None )

Parámetros

  • in_channels (int, por defecto 3) — Número de canales de entrada.
  • out_channels (int, por defecto 3) — Número de canales de salida.
  • latent_channels (int, por defecto 128) — Número de canales latentes.
  • block_out_channels (tuple[int, ...], por defecto (128, 256, 512, 512)) — El número de canales de salida para cada bloque.
  • spatio_temporal_scaling (tuple[bool, ...], defaults to (True, True, True, False)` — Si un bloque debe o no contener una reducción de escala espaciotemporal.
  • layers_per_block (tuple[int, ...], por defecto (4, 3, 3, 3, 4)) — El número de capas por bloque.
  • patch_size (int, por defecto 4) — El tamaño de los parches espaciales.
  • patch_size_t (int, por defecto 1) — El tamaño de los parches temporales.
  • resnet_norm_eps (float, por defecto 1e-6) — Valor de epsilon para las capas de normalización de ResNet.
  • scaling_factor (float, opcional, valor predeterminado 1.0) — La desviación estándar por componente del espacio latente entrenado, calculada utilizando el primer lote del conjunto de entrenamiento. Esto se utiliza para escalar el espacio latente para que tenga varianza unitaria al entrenar el modelo de difusión. Los latentes se escalan con la fórmula z = z * scaling_factor antes de ser pasados al modelo de difusión. Al decodificar, los latentes se escalan de vuelta a la escala original con la fórmula: z = 1 / scaling_factor * z. Para más detalles, consulte las secciones 4.3.2 y D.1 del artículo High-Resolution Image Synthesis with Latent Diffusion Models.
  • encoder_causal (bool, por defecto True) — Si el codificador debe comportarse de forma causal (los fotogramas futuros dependen solo de los pasados) o no.
  • decoder_causal (bool, por defecto False) — Si el decodificador debe comportarse de forma causal (los fotogramas futuros dependen solo de los pasados) o no.

Un modelo VAE con pérdida KL para codificar imágenes en latentes y decodificar representaciones latentes en imágenes. Se utiliza en LTX-2.

Este modelo hereda de ModelMixin. Consulta la documentación de la clase superior para sus métodos genéricos implementados para todos los modelos (como la descarga o el guardado).

decode

< >

( z: Tensortemb: typing.Optional[torch.Tensor] = Nonecausal: bool | None = Nonereturn_dict: bool = True ) → ~models.vae.DecoderOutput or tuple

Parámetros

  • z (torch.Tensor) — Lote de entrada de vectores latentes.
  • return_dict (bool, opcional, valor predeterminado True) — Si se debe devolver un ~models.vae.DecoderOutput en lugar de una tupla simple.

Devuelve

~models.vae.DecoderOutput o tuple

If return_dict is True, a ~models.vae.DecoderOutput is returned, otherwise a plain tuple is returned.

Decodificar un lote de imágenes.

encode

< >

( x: Tensorcausal: bool | None = Nonereturn_dict: bool = True )

Parámetros

  • x (torch.Tensor) — Lote de entrada de imágenes.
  • return_dict (bool, opcional, valor predeterminado True) — Si se debe devolver un ~models.autoencoder_kl.AutoencoderKLOutput en lugar de una tupla simple.

Codifica un lote de imágenes en latentes.

enable_tiling

< >

( tile_sample_min_height: int | None = Nonetile_sample_min_width: int | None = Nonetile_sample_min_num_frames: int | None = Nonetile_sample_stride_height: float | None = Nonetile_sample_stride_width: float | None = Nonetile_sample_stride_num_frames: float | None = None )

Parámetros

  • tile_sample_min_height (int, opcional) — La altura mínima requerida para que una muestra se separe en mosaicos a lo largo de la dimensión de altura.
  • tile_sample_min_width (int, opcional) — El ancho mínimo requerido para que una muestra se separe en mosaicos a lo largo de la dimensión de ancho.
  • tile_sample_stride_height (int, opcional) — La cantidad mínima de solapamiento entre dos mosaicos verticales consecutivos. Esto garantiza que no se produzcan artefactos de mosaico a lo largo de la dimensión de altura.
  • tile_sample_stride_width (int, opcional) — La separación entre dos mosaicos horizontales consecutivos. Esto garantiza que no se produzcan artefactos de mosaico a lo largo de la dimensión de ancho.

Habilita la decodificación de VAE por mosaicos. Cuando esta opción está habilitada, el VAE dividirá el tensor de entrada en mosaicos para calcular la decodificación y la codificación en varios pasos. Esto es útil para ahorrar una gran cantidad de memoria y para permitir el procesamiento de imágenes más grandes.

forward

< >

( sample: Tensortemb: typing.Optional[torch.Tensor] = Nonesample_posterior: bool = Falseencoder_causal: bool | None = Nonedecoder_causal: bool | None = Nonereturn_dict: bool = Truegenerator: typing.Optional[torch.Generator] = None ) → ~models.vae.DecoderOutput or tuple

Parámetros

  • sample (torch.Tensor) — Muestra de entrada.
  • temb (torch.Tensor, opcional) — Tensor de incrustación de paso temporal opcional utilizado para condicionar el decodificador.
  • sample_posterior (bool, opcional, por defecto False) — Si se muestrea de la posterior.
  • encoder_causal (bool, opcional) — Si el codificador debe usar convoluciones causales. Si es None, se usa el valor predeterminado del modelo.
  • decoder_causal (bool, opcional) — Si el decodificador debe usar convoluciones causales. Si es None, se usa el valor predeterminado del modelo.
  • return_dict (bool, opcional, valor predeterminado True) — Indica si se debe devolver un DecoderOutput en lugar de una tupla simple.
  • generator (torch.Generator, opcional) — Un torch.Generator para hacer que la muestreo sea determinista.

Devuelve

~models.vae.DecoderOutput o tuple

Si return_dict es True, se devuelve un ~models.vae.DecoderOutput, de lo contrario se devuelve una tuple simple.

tiled_decode

< >

( z: Tensortemb: typing.Optional[torch.Tensor]causal: bool | None = Nonereturn_dict: bool = True ) → ~models.vae.DecoderOutput or tuple

Parámetros

  • z (torch.Tensor) — Lote de entrada de vectores latentes.
  • return_dict (bool, opcional, valor predeterminado True) — Indica si se debe devolver un ~models.vae.DecoderOutput en lugar de una tupla simple.

Devuelve

~models.vae.DecoderOutput o tuple

If return_dict is True, a ~models.vae.DecoderOutput is returned, otherwise a plain tuple is returned.

Decodificar un lote de imágenes usando un decodificador por mosaicos.

tiled_encode

< >

( x: Tensorcausal: bool | None = None ) → torch.Tensor

Parámetros

  • x (torch.Tensor) — Lote de entrada de videos.

Devuelve

torch.Tensor

La representación latente de los videos codificados.

Codifica un lote de imágenes usando un codificador por mosaicos.

Update on GitHub

←AutoencoderKLLTX2Audio AutoencoderKLLTXVideo→