Hugging Face's logo

Diffusers documentation

AutoencoderKLKVAEAudio

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

AutoencoderKLKVAEAudio

تشفير-فك تشفير تبايني (VAE) تلافيفي أحادي البعد مع خسارة KL للصوت، قدمه فريق مختبر كاندينسكي في KVAE-Audio. يقوم هذا النموذج بضغط الموجات الصوتية الخام ذات النطاق الكامل (48 كيلو هرتز) إلى كامنات مستمرة مدمجة، ثم يعيد بناءها بدقة عالية عبر الكلام والموسيقى والصوت العام.

يمكن تحميل النموذج باستخدام مقتطف الشيفرة التالي.

import torch
from diffusers import AutoencoderKLKVAEAudio

vae = AutoencoderKLKVAEAudio.from_pretrained("kandinskylab/KVAE-Audio", subfolder="diffusers", dtype=torch.float32)

AutoencoderKLKVAEAudio

فئة diffusers.AutoencoderKLKVAEAudio

< >

( encoder_dim: int = 64encoder_rates: list = [2, 3, 4, 5, 8]latent_dim: int = 2048codebook_dim: int = 64decoder_dim: int = 1536decoder_rates: list = [8, 5, 4, 3, 2]sample_rate: int = 48000num_channels: int = 1attn_num_heads: int = 8 )

المعاملات

  • encoder_dim (int، اختياري، القيمة الافتراضية 64) — البُعد الأساسي للقنوات في المُشفِّر؛ يُضاعف في كل مرحلة من مراحل تقليل الحجم.
  • encoder_rates (list[int]، اختياري، القيمة الافتراضية [2, 3, 4, 5, 8]) — خطوات تقليل الحجم في المُشفِّر.
  • latent_dim (int، اختياري، القيمة الافتراضية 2048) — بعد القناة في مخرج المُشفِّر (قبل عنق الزجاجة in_proj).
  • codebook_dim (int، اختياري، القيمة الافتراضية 64) — بعد القناة في الفضاء الكامن لتوزيع الخلفية (بعد عنق الزجاجة in_proj).
  • decoder_dim (int، اختياري، القيمة الافتراضية 1536) — البُعد الأساسي للقنوات في المُفكِّك؛ يُنصَّف في كل مرحلة من مراحل رفع العينة.
  • decoder_rates (list[int]، اختياري، القيمة الافتراضية [8, 5, 4, 3, 2]) — خطوات إعادة التصغير في المُفكِّك.
  • sample_rate (int، اختياري، القيمة الافتراضية 48000) — معدل العينة، بالهرتز، الذي تم تدريب النموذج عليه.
  • num_channels (int، اختياري، القيمة الافتراضية 1) — عدد القنوات في بيانات الصوت (1 للمونو).
  • attn_num_heads (int، اختياري، القيمة الافتراضية 8) — عدد الرؤوس في كتلة الانتباه الذاتي المطبقة على مخرج المُشفِّر.

شيفر-فك شيفر تلافيفي أحادي البعد لتشفير موجات الصوت الخام إلى كامنات مستمرة وفك تشفيرها مرة أخرى إلى موجات. تم تقديمه في KVAE-Audio.

يرث هذا النموذج من ModelMixin. راجع توثيق الفئة الأصلية لمعرفة طرقه العامة المُنفَّذة لجميع النماذج (مثل التنزيل أو الحفظ).

decode

< >

( z: Tensorreturn_dict: bool = True ) → DecoderOutput or tuple

المعاملات

  • z (torch.Tensor) — دفعة مدخلات من المتجهات الكامنة.
  • return_dict (bool، اختياري، القيمة الافتراضية True) — ما إذا كان يجب إرجاع DecoderOutput بدلاً من tuple عادي.

يعيد

DecoderOutput أو tuple

If return_dict is True, a DecoderOutput is returned, otherwise a plain tuple is returned.

فكّ تشفير دفعة من الكمونيات إلى موجات صوتية.

encode

< >

( audio_data: Tensorreturn_dict: bool = True )

المعاملات

  • audio_data (torch.Tensor من الشكل (batch_size, num_channels, num_samples)) — دفعة إدخال من موجات الصوت الخام.
  • return_dict (bool، اختياري، القيمة الافتراضية True) — ما إذا كان يجب إرجاع ~models.autoencoder_kl.AutoencoderKLOutput بدلاً من tuple عادي.

ترميز دفعة من الموجات الصوتية إلى كامنات.

forward

< >

( sample: Tensorsample_posterior: bool = Falsereturn_dict: bool = Truegenerator: typing.Optional[torch.Generator] = None ) → DecoderOutput or tuple

المعاملات

  • sample (torch.Tensor من الشكل (batch_size, num_channels, num_samples)) — دفعة إدخال من موجات الصوت الخام.
  • sample_posterior (bool، اختياري، القيمة الافتراضية False) — ما إذا كان سيتم أخذ عينة من التوزيع اللاحق.
  • return_dict (bool، اختياري، القيمة الافتراضية True) — ما إذا كان يجب إرجاع DecoderOutput بدلاً من tuple عادي.
  • generator (torch.Generator، اختياري) — torch.Generator لجعل عملية أخذ العينات حتمية.

يعيد

DecoderOutput أو tuple

إذا كان return_dict صحيحًا، يُعاد DecoderOutput، وإلا يُعاد tuple عادي.

Update on GitHub

←AutoencoderKLKVAE AutoencoderKLKVAEVideo→