Diffusers documentation

BriaTransformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

BriaTransformer2DModel

نموذج flux Transformer معدّل من Bria

BriaTransformer2DModel

فئة diffusers.BriaTransformer2DModel

< >

( patch_size: int = 1in_channels: int = 64num_layers: int = 19num_single_layers: int = 38attention_head_dim: int = 128num_attention_heads: int = 24joint_attention_dim: int = 4096pooled_projection_dim: int = Noneguidance_embeds: bool = Falseaxes_dims_rope: list = [16, 56, 56]rope_theta = 10000time_theta = 10000 )

المعاملات

  • patch_size (int) — حجم الباتش لتحويل البيانات المدخلة إلى باتشات صغيرة.
  • in_channels (int، اختياري، القيمة الافتراضية 16) — عدد القنوات في المدخلات.
  • num_layers (int، اختياري، القيمة الافتراضية 18) — عدد طبقات كتل MMDiT المستخدمة.
  • num_single_layers (int، اختياري، القيمة الافتراضية 18) — عدد طبقات كتل DiT المفردة التي سيتم استخدامها.
  • attention_head_dim (int، اختياري، القيمة الافتراضية 64) — عدد القنوات في كل رأس.
  • num_attention_heads (int، اختياري، القيمة الافتراضية 18) — عدد الرؤوس المستخدمة في الانتباه متعدد الرؤوس.
  • joint_attention_dim (int، اختياري) — عدد أبعاد encoder_hidden_states التي سيتم استخدامها.
  • pooled_projection_dim (int) — عدد الأبعاد المستخدمة عند إسقاط pooled_projections.
  • guidance_embeds (bool، القيمة الافتراضية False) — ما إذا كان سيتم استخدام تضمينات التوجيه.

نموذج Transformer المُقدَّم في Flux. مبني على FluxPipeline مع عدة تغييرات:

  • لا توجد تمثيلات مجمّعة
  • نستخدم التوسيع الصفري (zero padding) للموجّهات
  • لا يوجد تضمين إرشادي لأن هذا ليس إصدارًا مُقطَّراً المصدر: https://blackforestlabs.ai/announcing-black-forest-labs/

forward

< >

( hidden_states: Tensorencoder_hidden_states: Tensor = Nonepooled_projections: Tensor = Nonetimestep: LongTensor = Noneimg_ids: Tensor = Nonetxt_ids: Tensor = Noneguidance: Tensor = Noneattention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = Truecontrolnet_block_samples = Nonecontrolnet_single_block_samples = None )

المعاملات

  • hidden_states (torch.FloatTensor من الشكل (batch size, channel, height, width)) — مدخلات hidden_states.
  • encoder_hidden_states (torch.FloatTensor من الشكل (batch size, sequence_len, embed_dims)) — تضمينات شرطية (تضمينات محسوبة من الشروط المدخلة مثل الأوامر النصية) للاستخدام.
  • pooled_projections (torch.FloatTensor من الشكل (batch_size, projection_dim)) — تمثيلات مُسقطَة من تمثيلات شروط الإدخال.
  • timestep ( torch.LongTensor) — يُستخدم للإشارة إلى خطوة إزالة الضوضاء.
  • img_ids (torch.Tensor) — معرّفات مواضع الصور المستخدمة لحساب التضمينات الموضعية الدوارة.
  • txt_ids (torch.Tensor) — معرّفات مواضع النص المستخدمة لحساب التضمينات الموضعية الدوارة.
  • guidance (torch.Tensor، اختياري) — تضمين مقياس التوجيه المستخدم في النسخ المُقطّرة بالتوجيه من النموذج.
  • controlnet_block_samples (list من torch.Tensor، اختياري) — قائمة من الموترات التي إذا تم تحديدها تُضاف إلى بقايا كتل التحوّل.
  • controlnet_single_block_samples (list من torch.Tensor، اختياري) — قائمة من الموترات التي إذا تم تحديدها تُضاف إلى بقايا كتل التحوّل المفردة.
  • attention_kwargs (dict، اختياري) — قاموس kwargs يُمرَّر إلى AttentionProcessor إذا تم تحديده، كما هو معرَّف تحت self.processor في diffusers.models.attention_processor.
  • return_dict (bool، اختياري، القيمة الافتراضية True) — ما إذا كان يجب إرجاع ~models.transformer_2d.Transformer2DModelOutput بدلاً من tuple عادي.

طريقة BriaTransformer2DModel الأمامية.

Update on GitHub