Hugging Face's logo

Diffusers documentation

AutoencoderKLAllegro

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

AutoencoderKLAllegro

El modelo de autoencoder variacional (VAE) 3D con pérdida KL utilizado en Allegro fue introducido en Allegro: Open the Black Box of Commercial-Level Video Generation Model por RhymesAI.

El modelo se puede cargar con el siguiente fragmento de código.

from diffusers import AutoencoderKLAllegro

vae = AutoencoderKLAllegro.from_pretrained("rhymes-ai/Allegro", subfolder="vae", dtype=torch.float32).to("cuda")  # or "mps", "xpu", "cpu"

AutoencoderKLAllegro

clase diffusers.AutoencoderKLAllegro

< >

( in_channels: int = 3out_channels: int = 3down_block_types: tuple = ('AllegroDownBlock3D', 'AllegroDownBlock3D', 'AllegroDownBlock3D', 'AllegroDownBlock3D')up_block_types: tuple = ('AllegroUpBlock3D', 'AllegroUpBlock3D', 'AllegroUpBlock3D', 'AllegroUpBlock3D')block_out_channels: tuple = (128, 256, 512, 512)temporal_downsample_blocks: tuple = (True, True, False, False)temporal_upsample_blocks: tuple = (False, True, True, False)latent_channels: int = 4layers_per_block: int = 2act_fn: str = 'silu'norm_num_groups: int = 32temporal_compression_ratio: float = 4sample_size: int = 320scaling_factor: float = 0.13force_upcast: bool = True )

Parámetros

  • in_channels (int, por defecto 3) — Número de canales en la imagen de entrada.
  • out_channels (int, por defecto 3) — Número de canales en la salida.
  • down_block_types (tuple[str, ...], por defecto ("AllegroDownBlock3D", "AllegroDownBlock3D", "AllegroDownBlock3D", "AllegroDownBlock3D")) — tupla de cadenas que indica qué tipos de bloques de reducción (down blocks) utilizar.
  • up_block_types (tuple[str, ...], por defecto ("AllegroUpBlock3D", "AllegroUpBlock3D", "AllegroUpBlock3D", "AllegroUpBlock3D")) — tupla de cadenas que indica qué tipos de bloques de subida usar.
  • block_out_channels (tuple[int, ...], por defecto (128, 256, 512, 512)) — tupla de enteros que indica el número de canales de salida en cada bloque.
  • temporal_downsample_blocks (tuple[bool, ...], por defecto (True, True, False, False)) — tupla de booleanos que indica en qué bloques habilitar el muestreo temporal.
  • latent_channels (int, por defecto 4) — Número de canales en los latentes.
  • layers_per_block (int, por defecto 2) — Número de capas de resnet o atención o convolución temporal por bloque de down/up.
  • act_fn (str, por defecto "silu") — La función de activación a utilizar.
  • norm_num_groups (int, por defecto 32) — Número de grupos a utilizar en las capas de normalización.
  • temporal_compression_ratio (int, por defecto 4) — Relación por la cual se comprime la dimensión temporal de las muestras.
  • sample_size (int, por defecto 320) — Tamaño latente por defecto.
  • scaling_factor (float, valor predeterminado 0.13235) — La desviación estándar por componente del espacio latente entrenado, calculada utilizando el primer lote del conjunto de entrenamiento. Esto se utiliza para escalar el espacio latente para que tenga varianza unitaria al entrenar el modelo de difusión. Los latentes se escalan con la fórmula z = z * scaling_factor antes de ser pasados al modelo de difusión. Al decodificar, los latentes se escalan de vuelta a la escala original con la fórmula: z = 1 / scaling_factor * z. Para más detalles, consulte las secciones 4.3.2 y D.1 del artículo High-Resolution Image Synthesis with Latent Diffusion Models.
  • force_upcast (bool, por defecto True) — Si está habilitado, forzará que el VAE se ejecute en float32 para pipelines de alta resolución de imagen, como SD-XL. El VAE puede afinarse / entrenarse para un rango inferior sin perder demasiada precisión, en cuyo caso force_upcast puede establecerse en False - ver: https://huggingface.co/madebyollin/sdxl-vae-fp16-fix

Un modelo VAE con pérdida KL para codificar videos en latentes y decodificar representaciones latentes en videos. Se utiliza en Allegro.

Este modelo hereda de ModelMixin. Consulta la documentación de la clase superior para sus métodos genéricos implementados para todos los modelos (como la descarga o el guardado).

decode

< >

( z: Tensorreturn_dict: bool = True ) → ~models.vae.DecoderOutput or tuple

Parámetros

  • z (torch.Tensor) — Lote de entrada de vectores latentes.
  • return_dict (bool, por defecto True) — Si se debe devolver un ~models.vae.DecoderOutput en lugar de una tupla simple.

Devuelve

~models.vae.DecoderOutput o tuple

If return_dict is True, a ~models.vae.DecoderOutput is returned, otherwise a plain tuple is returned.

Decodificar un lote de videos.

encode

< >

( x: Tensorreturn_dict: bool = True )

Parámetros

  • x (torch.Tensor) — Lote de entrada de videos.
  • return_dict (bool, por defecto True) — Si se debe devolver un ~models.autoencoder_kl.AutoencoderKLOutput en lugar de una tupla simple.

Codifica un lote de videos en latentes.

forward

< >

( sample: Tensorsample_posterior: bool = Falsereturn_dict: bool = Truegenerator: typing.Optional[torch.Generator] = None ) → ~models.vae.DecoderOutput or tuple

Parámetros

  • sample (torch.Tensor) — Muestra de entrada.
  • sample_posterior (bool, opcional, por defecto False) — Si se muestrea de la posterior.
  • return_dict (bool, opcional, valor predeterminado True) — Indica si se debe devolver un DecoderOutput en lugar de una tupla simple.
  • generator (torch.Generator, opcional) — Generador de números aleatorios de PyTorch.

Devuelve

~models.vae.DecoderOutput o tuple

Si return_dict es True, se devuelve un ~models.vae.DecoderOutput, de lo contrario se devuelve una tuple simple.

AutoencoderKLOutput

clase diffusers.models.modeling_outputs.AutoencoderKLOutput

< >

( latent_dist: DiagonalGaussianDistribution )

Parámetros

  • latent_dist (DiagonalGaussianDistribution) — Salidas codificadas de Encoder representadas como la media y el logvar de DiagonalGaussianDistribution. DiagonalGaussianDistribution permite muestrear latentes de la distribución.

Salida del método de codificación de AutoencoderKL.

DecoderOutput

clase diffusers.models.autoencoders.vae.DecoderOutput

< >

( sample: Tensorcommit_loss: typing.Optional[torch.FloatTensor] = None )

Parámetros

  • sample (torch.Tensor de forma (batch_size, num_channels, height, width)) — La muestra de salida decodificada de la última capa del modelo.

Salida del método de decodificación.

Update on GitHub

←AutoencoderKL AutoencoderKLCogVideoX→