Diffusers documentation
AceStepTransformer1DModel
AceStepTransformer1DModel
محوّل انتشار أحادي البُعد لتوليد الموسيقى من ACE-Step 1.5. يعمل النموذج على الكامنات الستيريو ذات التردد 25 هرتز التي ينتجها AutoencoderOobleck باستخدام مطابقة التدفق، وقد تم تدريبه على هيكل أساسي مشتق من Qwen3 (انتباه الاستعلامات المجمعة، تضمين موضع دوّار، RMSNorm، تكييف خطوة الزمن عبر AdaLN-Zero) بالإضافة إلى انتباه متقاطع مع شروط النص / الكلمات / طبقة الصوت التي يبنيها AceStepConditionEncoder.
AceStepTransformer1DModel
فئة diffusers.AceStepTransformer1DModel
< source >( hidden_size: int = 2048intermediate_size: int = 6144num_hidden_layers: int = 24num_attention_heads: int = 16num_key_value_heads: int = 8head_dim: int = 128in_channels: int = 192audio_acoustic_hidden_dim: int = 64patch_size: int = 2rope_theta: float = 1000000.0attention_bias: bool = Falseattention_dropout: float = 0.0rms_norm_eps: float = 1e-06sliding_window: int = 128layer_types: typing.Optional[typing.List[str]] = Noneencoder_hidden_size: typing.Optional[int] = Noneis_turbo: bool = Falsemodel_version: typing.Optional[str] = None )
نموذج Diffusion Transformer لتوليد الموسيقى في ACE-Step 1.5.
يولّد كامنات صوتية مشروطة بالنص والكلمات والأصوات. يستخدم تضمين رقعة أحادي البعد (Conv1d بخطوة patch_size) يليه مجموعة من AceStepTransformerBlocks مع انتباه نافذة منزلقة / انتباه كامل بالتناوب على فرع الانتباه الذاتي. يستهلك الانتباه المتقاطع encoder_hidden_states المعبّأ الذي تنتجه AceStepConditionEncoder.
forward
< source >( hidden_states: Tensortimestep: Tensortimestep_r: Tensorencoder_hidden_states: Tensorcontext_latents: Tensorattention_kwargs: typing.Optional[dict] = Nonereturn_dict: bool = True ) → Transformer2DModelOutput or tuple
المعاملات
- hidden_states (
torch.Tensorمن الشكل(batch_size, seq_len, channels)) — مدخل كامن ضوضائي لعملية الانتشار. - timestep (
torch.Tensorof shape(batch_size,)) — خطوة الانتشار الحاليةt. - timestep_r (
torch.Tensorمن الشكل(batch_size,)) — خطوة الزمن المرجعيةr(تُضبط تساويtللاستدلال القياسي). - encoder_hidden_states (
torch.Tensorمن الشكل(batch_size, encoder_seq_len, hidden_size)) — تضمينات التكييف من مُشفِّر الشرط (النص + الكلمات + طبقة الصوت). - context_latents (
torch.Tensorمن الشكل(batch_size, seq_len, context_dim)) — كائنات السياق (كائنات المصدر مدمجة مع أقنعة المقاطع) — تُغذّى إلى طبقة patchify conv إلى جانبhidden_states. - attention_kwargs (
dict، اختياري) — قاموس kwargs يُمرَّر إلىAttentionProcessor. يُستخدم لتمرير مقياس LoRA عبر{"scale": float}. - return_dict (
bool، القيمة الافتراضيةTrue) — ما إذا كان يجب إرجاعTransformer2DModelOutputأو مجرد tuple.
يعيد
Transformer2DModelOutput أو tuple
حقل السرعة المتوقع.
طريقة AceStepTransformer1DModel الأمامية.