Diffusers documentation
AutoencoderKLKVAEAudio
AutoencoderKLKVAEAudio
Một mô hình autoencoder biến phân (VAE) tích chập 1 chiều có tổn thất KL cho âm thanh, được giới thiệu bởi nhóm Kandinsky Lab trong KVAE-Audio. Nó nén các dạng sóng thô, băng thông đầy đủ (48 kHz) thành các ẩn liên tục gọn gàng và tái tạo chúng với độ trung thực cao trên giọng nói, nhạc và âm thanh nói chung.
Mô hình có thể được tải bằng đoạn mã sau.
import torch
from diffusers import AutoencoderKLKVAEAudio
vae = AutoencoderKLKVAEAudio.from_pretrained("kandinskylab/KVAE-Audio", subfolder="diffusers", dtype=torch.float32)AutoencoderKLKVAEAudio
lớp diffusers.AutoencoderKLKVAEAudio
< source >( encoder_dim: int = 64encoder_rates: list = [2, 3, 4, 5, 8]latent_dim: int = 2048codebook_dim: int = 64decoder_dim: int = 1536decoder_rates: list = [8, 5, 4, 3, 2]sample_rate: int = 48000num_channels: int = 1attn_num_heads: int = 8 )
Tham số
- encoder_dim (
int, tùy chọn, mặc định là 64) — Kích thước kênh cơ bản của encoder; được nhân đôi ở mỗi giai đoạn hạ mẫu. - encoder_rates (
list[int], tùy chọn, mặc định là[2, 3, 4, 5, 8]) — Các bước nhảy (strides) để hạ mẫu (downsampling) trong bộ mã hóa (encoder). - latent_dim (
int, tùy chọn, mặc định là 2048) — Kích thước kênh của đầu ra bộ mã hóa (trước nút thắt cổ chaiin_proj). - codebook_dim (
int, tùy chọn, mặc định là 64) — Kích thước kênh của không gian ẩn của phân phối hậu nghiệm (sau nút thắt cổ chaiin_proj). - decoder_dim (
int, tùy chọn, mặc định là 1536) — Kích thước kênh cơ bản của bộ giải mã; giảm một nửa ở mỗi giai đoạn lấy mẫu lên. - decoder_rates (
list[int], tùy chọn, mặc định là[8, 5, 4, 3, 2]) — Các bước nhảy (strides) cho việc lấy mẫu lên (upsampling) trong bộ giải mã (decoder). - sample_rate (
int, tùy chọn, mặc định là 48000) — Tần số lấy mẫu, tính bằng Hz, mà mô hình được huấn luyện trên đó. - num_channels (
int, tùy chọn, mặc định là 1) — Số lượng kênh trong dữ liệu âm thanh (1 cho âm thanh đơn). - attn_num_heads (
int, tùy chọn, mặc định là 8) — Số lượng đầu trong khối self-attention được áp dụng cho đầu ra của encoder.
Autoencoder tích chập 1D để mã hóa dạng sóng âm thanh thô thành các ẩn liên tục và giải mã chúng trở lại thành dạng sóng. Được giới thiệu trong KVAE-Audio.
Mô hình này kế thừa từ ModelMixin. Hãy xem tài liệu của lớp cha để biết các phương thức chung được triển khai cho tất cả các mô hình (chẳng hạn như tải xuống hoặc lưu trữ).
decode
< source >( z: Tensorreturn_dict: bool = True ) → DecoderOutput or tuple
Tham số
- z (
torch.Tensor) — Lô đầu vào của các vector ẩn. - return_dict (
bool, tùy chọn, mặc định làTrue) — Có nên trả về một DecoderOutput thay vì một tuple thông thường hay không.
Trả về
DecoderOutput hoặc tuple
If return_dict is True, a DecoderOutput is returned, otherwise a plain
tuple is returned.
Giải mã một lô latents thành các dạng sóng âm thanh.
encode
< source >( audio_data: Tensorreturn_dict: bool = True )
Mã hóa một lô sóng âm thanh thành các ẩn (latents).
forward
< source >( sample: Tensorsample_posterior: bool = Falsereturn_dict: bool = Truegenerator: typing.Optional[torch.Generator] = None ) → DecoderOutput or tuple
Tham số
- sample (
torch.Tensorcó hình dạng(batch_size, num_channels, num_samples)) — Batch đầu vào của các dạng sóng âm thanh thô. - sample_posterior (
bool, tùy chọn, mặc định làFalse) — Có lấy mẫu từ posterior hay không. - return_dict (
bool, tùy chọn, mặc định làTrue) — Có nên trả về một DecoderOutput thay vì một tuple thông thường hay không. - generator (
torch.Generator, tùy chọn) — Mộttorch.Generatorđể làm cho việc lấy mẫu trở nên tất định.
Trả về
DecoderOutput hoặc tuple
Nếu return_dict là True, một DecoderOutput sẽ được trả về, ngược lại một tuple thông thường sẽ được trả về.