Hugging Face's logo

Diffusers documentation

OvisImageTransformer2DModel

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

OvisImageTransformer2DModel

يمكن تحميل النموذج باستخدام مقتطف الشيفرة التالي.

from diffusers import OvisImageTransformer2DModel

transformer = OvisImageTransformer2DModel.from_pretrained("AIDC-AI/Ovis-Image-7B", subfolder="transformer", dtype=torch.bfloat16)

OvisImageTransformer2DModel

فئة diffusers.OvisImageTransformer2DModel

< >

( patch_size: int = 1in_channels: int = 64out_channels: int | None = 64num_layers: int = 6num_single_layers: int = 27attention_head_dim: int = 128num_attention_heads: int = 24joint_attention_dim: int = 2048axes_dims_rope: tuple = (16, 56, 56) )

المعاملات

  • patch_size (int، القيمة الافتراضية 1) — حجم الباتش لتحويل البيانات المدخلة إلى باتشات صغيرة.
  • in_channels (int)، القيمة الافتراضية 64 — عدد القنوات في المدخلات.
  • out_channels (int، اختياري، القيمة الافتراضية None) — عدد القنوات في المخرجات. إذا لم يُحدد، تكون القيمة الافتراضية in_channels.
  • num_layers (int، القيمة الافتراضية 6) — عدد طبقات كتل DiT ذات التدفق المزدوج المستخدمة.
  • num_single_layers (int، القيمة الافتراضية 27) — عدد طبقات كتل DiT ذات التدفق الواحد التي سيتم استخدامها.
  • attention_head_dim (int، القيمة الافتراضية 128) — عدد الأبعاد المستخدمة لكل رأس انتباه.
  • num_attention_heads (int، القيمة الافتراضية 24) — عدد رؤوس الانتباه (attention heads) المستخدمة.
  • joint_attention_dim (int، القيمة الافتراضية 2048) — عدد الأبعاد المستخدمة للانتباه المشترك (بعد التضمين/القناة الخاص بـ encoder_hidden_states).
  • axes_dims_rope (tuple[int]، القيمة الافتراضية (16, 56, 56)) — الأبعاد المستخدمة للتضمينات الموضعية الدوارة.

نموذج Transformer الذي تم تقديمه في Ovis-Image.

مرجع: https://github.com/AIDC-AI/Ovis-Image

forward

< >

( hidden_states: Tensorencoder_hidden_states: Tensor = Nonetimestep: LongTensor = Noneimg_ids: Tensor = Nonetxt_ids: Tensor = Nonejoint_attention_kwargs: dict[str, typing.Any] | None = Nonereturn_dict: bool = True )

المعاملات

  • hidden_states (torch.Tensor من الشكل (batch_size, image_sequence_length, in_channels)) — مدخلات hidden_states.
  • encoder_hidden_states (torch.Tensor من الشكل (batch_size, text_sequence_length, joint_attention_dim)) — تضمينات شرطية (تضمينات محسوبة من الشروط المدخلة مثل الأوامر النصية) للاستخدام.
  • timestep (torch.LongTensor) — يُستخدم للإشارة إلى خطوة إزالة الضوضاء.
  • img_ids — (torch.Tensor): معرّفات المواضع لرموز الصور.
  • txt_ids (torch.Tensor) — معرّفات المواضع لرموز النص.
  • joint_attention_kwargs (dict، اختياري) — قاموس kwargs يُمرَّر إلى AttentionProcessor كما هو معرَّف تحت self.processor في diffusers.models.attention_processor إذا تمَّ تحديده.
  • return_dict (bool، اختياري، القيمة الافتراضية True) — ما إذا كان يجب إرجاع ~models.transformer_2d.Transformer2DModelOutput بدلاً من tuple عادي.

طريقة OvisImageTransformer2DModel الأمامية.

Update on GitHub

←OmniGenTransformer2DModel PixArtTransformer2DModel→