Diffusers documentation
AceStepTransformer1DModel
AceStepTransformer1DModel
ACE-Step 1.5 kaynaklı müzik üretimi için 1B Diffusion Transformer. Model, AutoencoderOobleck tarafından üretilen 25 Hz stereo latentler üzerinde flow matching kullanarak çalışır ve Qwen3 türevli bir omurga (grouped-query attention, rotary position embedding, RMSNorm, AdaLN-Zero timestep conditioning) ile AceStepConditionEncoder tarafından oluşturulan metin / söz / timbre koşullarına yönelik cross-attention ile eğitilir.
AceStepTransformer1DModel
sınıf diffusers.AceStepTransformer1DModel
< source >( hidden_size: int = 2048intermediate_size: int = 6144num_hidden_layers: int = 24num_attention_heads: int = 16num_key_value_heads: int = 8head_dim: int = 128in_channels: int = 192audio_acoustic_hidden_dim: int = 64patch_size: int = 2rope_theta: float = 1000000.0attention_bias: bool = Falseattention_dropout: float = 0.0rms_norm_eps: float = 1e-06sliding_window: int = 128layer_types: typing.Optional[typing.List[str]] = Noneencoder_hidden_size: typing.Optional[int] = Noneis_turbo: bool = Falsemodel_version: typing.Optional[str] = None )
ACE-Step 1.5 müzik üretimi için Diffusion Transformer.
Metin, sözler ve tınıya koşullu ses latentleri üretir. 1D yama gömme (patch_size adımına sahip Conv1d) ardından kendine dikkat (self-attention) dalında sırayla kayan pencere / tam dikkat (full attention) kullanan AceStepTransformerBlock yığını kullanır. Çapraz dikkat (cross-attention), AceStepConditionEncoder tarafından üretilen paketlenmiş encoder_hidden_states'i tüketir.
forward
< source >( hidden_states: Tensortimestep: Tensortimestep_r: Tensorencoder_hidden_states: Tensorcontext_latents: Tensorattention_kwargs: typing.Optional[dict] = Nonereturn_dict: bool = True ) → Transformer2DModelOutput or tuple
Parametreler
- hidden_states (
torch.Tensor, şekli(batch_size, seq_len, channels)) — Difüzyon süreci için gürültülü gizli girdi. - timestep (
torch.Tensor, şekli(batch_size,)) — Güncel difüzyon zaman adımıt. - timestep_r (
torch.Tensor, şekli(batch_size,)) — Referans timestepr(standart çıkarım içintile eşit olarak ayarlanır). - encoder_hidden_states (
torch.Tensor, şekli(batch_size, encoder_seq_len, hidden_size)) — Koşul kodlayıcısından (metin + sözler + ton) gelen koşullama gömme değerleri. - context_latents (
torch.Tensor, şekli(batch_size, seq_len, context_dim)) — Bağlam gizli değişkenleri (chunk maskeleriyle birleştirilmiş kaynak gizli değişkenler) —hidden_statesile birlikte patchify conv'e verilir. - attention_kwargs (
dict, isteğe bağlı) —AttentionProcessor'a iletilen bir kwargs sözlüğü. LoRA ölçeğini{"scale": float}üzerinden geçirmek için kullanılır. - return_dict (
bool, varsayılanTrue) — BirTransformer2DModelOutputmu yoksa düz bir tuple mı döndürüleceğini belirtir.
Dönüş değeri
Transformer2DModelOutput veya tuple
Tahmin edilen hız alanı.
AceStepTransformer1DModel ileri yöntemi.