Hugging Face's logo

Diffusers documentation

AutoencoderKLKVAEVideo

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

AutoencoderKLKVAEVideo

Mô hình tự mã hóa biến phân (VAE) 3D với tổn thất KL.

Mô hình có thể được tải bằng đoạn mã sau.

import torch
from diffusers import AutoencoderKLKVAEVideo

vae = AutoencoderKLKVAEVideo.from_pretrained("kandinskylab/KVAE-3D-1.0", subfolder="diffusers", dtype=torch.float16)

AutoencoderKLKVAEVideo

lớp diffusers.AutoencoderKLKVAEVideo

< >

( ch: int = 128ch_mult: typing.Tuple[int, ...] = (1, 2, 4, 8)num_res_blocks: int = 2in_channels: int = 3out_ch: int = 3z_channels: int = 16temporal_compress_times: int = 4 )

Tham số

  • ch (int, tuỳ chọn, mặc định là 128) — Số lượng kênh cơ sở.
  • ch_mult (Tuple[int], tuỳ chọn, mặc định là (1, 2, 4, 8)) — Hệ số nhân kênh cho từng mức.
  • num_res_blocks (int, tùy chọn, mặc định là 2) — Số lượng khối residual ở mỗi cấp.
  • in_channels (int, tùy chọn, mặc định là 3) — Số lượng kênh đầu vào.
  • out_ch (int, tùy chọn, mặc định là 3) — Số lượng kênh đầu ra.
  • z_channels (int, tùy chọn, mặc định là 16) — Số lượng kênh tiềm ẩn.
  • temporal_compress_times (int, tùy chọn, mặc định là 4) — Hệ số nén theo thời gian.

Một mô hình VAE có tổn thất KL để mã hóa video thành các ẩn và giải mã các biểu diễn ẩn thành video. Được sử dụng trong KVAE.

Mô hình này kế thừa từ ModelMixin. Xem tài liệu của lớp cha để biết các phương thức chung được triển khai cho tất cả các mô hình (chẳng hạn như tải xuống hoặc lưu).

decode

< >

( z: Tensorreturn_dict: bool = True ) → ~models.vae.DecoderOutput or tuple

Tham số

  • z (torch.Tensor) — Lô đầu vào của các vector ẩn có hình dạng (B, C, T, H, W).
  • return_dict (bool, tùy chọn, mặc định là True) — Có nên trả về một ~models.vae.DecoderOutput thay vì một tuple thông thường hay không.

Trả về

~models.vae.DecoderOutput hoặc tuple

Video đã giải mã.

Giải mã một lô video.

disable_slicing

< >

( )

Tắt giải mã VAE dạng lát cắt.

enable_slicing

< >

( )

Bật giải mã VAE theo lát.

encode

< >

( x: Tensorreturn_dict: bool = True )

Tham số

  • x (torch.Tensor) — Lô đầu vào các video có hình dạng (B, C, T, H, W).
  • return_dict (bool, tùy chọn, mặc định là True) — Có nên trả về một ~models.autoencoder_kl.AutoencoderKLOutput thay vì một tuple thông thường hay không.

Mã hóa một lô video thành các biến ẩn.

forward

< >

( sample: Tensorsample_posterior: bool = Falsereturn_dict: bool = Truegenerator: typing.Optional[torch.Generator] = None ) → ~models.vae.DecoderOutput or tuple

Tham số

  • sample (torch.Tensor) — Mẫu đầu vào.
  • sample_posterior (bool, tùy chọn, mặc định là False) — Có lấy mẫu từ posterior hay không.
  • return_dict (bool, tùy chọn, mặc định là True) — Có nên trả về một DecoderOutput thay vì một tuple thông thường hay không.
  • generator (torch.Generator, tùy chọn) — Một torch.Generator để làm cho việc lấy mẫu trở nên tất định.

Trả về

~models.vae.DecoderOutput hoặc tuple

Nếu return_dict là True, một ~models.vae.DecoderOutput sẽ được trả về, ngược lại một tuple thông thường sẽ được trả về.

Update on GitHub

←AutoencoderKLKVAEAudio AutoencoderKLLTX2Audio→