Diffusers documentation
CogView3PlusTransformer2DModel
CogView3PlusTransformer2DModel
تم تقديم نموذج CogView3Plus من نوع Diffusion Transformer للبيانات ثنائية الأبعاد في CogView3: Finer and Faster Text-to-Image Generation via Relay Diffusion من قبل جامعة تسينغهوا و ZhipuAI.
يمكن تحميل النموذج باستخدام مقتطف الشيفرة التالي.
from diffusers import CogView3PlusTransformer2DModel
transformer = CogView3PlusTransformer2DModel.from_pretrained("THUDM/CogView3Plus-3b", subfolder="transformer", dtype=torch.bfloat16).to("cuda") # or "mps", "xpu", "cpu"CogView3PlusTransformer2DModel
فئة diffusers.CogView3PlusTransformer2DModel
< source >( patch_size: int = 2in_channels: int = 16num_layers: int = 30attention_head_dim: int = 40num_attention_heads: int = 64out_channels: int = 16text_embed_dim: int = 4096time_embed_dim: int = 512condition_dim: int = 256pos_embed_max_size: int = 128sample_size: int = 128 )
المعاملات
- patch_size (
int، القيمة الافتراضية2) — حجم البقع المستخدمة في طبقة تضمين البقع. - in_channels (
int)، القيمة الافتراضية16— عدد القنوات في المدخلات. - num_layers (
int، القيمة الافتراضية30) — عدد طبقات كتل Transformer المستخدمة. - attention_head_dim (
int، القيمة الافتراضية40) — عدد القنوات في كل رأس. - num_attention_heads (
int، القيمة الافتراضية64) — عدد الرؤوس المستخدمة في الانتباه متعدد الرؤوس. - out_channels (
int، القيمة الافتراضية16) — عدد القنوات في المخرجات. - text_embed_dim (
int، القيمة الافتراضية4096) — البُعد المدخل لتضمينات النص من مُشفِّر النص. - time_embed_dim (
int، القيمة الافتراضية512) — البُعد الناتج لتضمينات خطوات الزمن. - condition_dim (
int، القيمة الافتراضية256) — أبعاد التضمين (embedding) لشروط الدقة بنمط SDXL المدخلة (original_size، target_size، crop_coords). - pos_embed_max_size (
int, القيمة الافتراضية128) — أقصى دقة للتضمينات الموضعية، حيث تُؤخذ منها مقاطع ذات الشكلH x Wوتُضاف إلى الكمونيات المُرقّعة المدخلة، حيثHوWهما ارتفاع وعرض الكمون على التوالي. تعني القيمة 128 أن أقصى ارتفاع وعرض مدعومين لتوليد الصور هو128 * vae_scale_factor * patch_size => 128 * 8 * 2 => 2048. - sample_size (
int، القيمة الافتراضية128) — الدقة الأساسية للكائنات الكامنة المدخلة. إذا لم يتم تقديم الارتفاع/العرض أثناء التوليد، تُستخدم هذه القيمة لتحديد الدقة على النحو التالي:sample_size * vae_scale_factor => 128 * 8 => 1024
The Transformer model introduced in CogView3: Finer and Faster Text-to-Image Generation via Relay Diffusion.
forward
< source >( hidden_states: Tensorencoder_hidden_states: Tensortimestep: LongTensororiginal_size: Tensortarget_size: Tensorcrop_coords: Tensorreturn_dict: bool = True ) → torch.Tensor or ~models.transformer_2d.Transformer2DModelOutput
المعاملات
- hidden_states (
torch.Tensor) — مدخلاتhidden_statesذات الشكل(batch size, channel, height, width). - encoder_hidden_states (
torch.Tensor) — تضمينات مشروطة (تضمينات محسوبة من الشروط المدخلة مثل الأوامر النصية) بأبعاد(batch_size, sequence_len, text_embed_dim) - timestep (
torch.LongTensor) — يُستخدم للإشارة إلى خطوة إزالة الضوضاء. - original_size (
torch.Tensor) — يستخدم CogView3 تشفيرًا دقيقًا مشابهًا لـ SDXL لحجم الصورة الأصلي كما هو موضح في القسم 2.2 من https://huggingface.co/papers/2307.01952. - target_size (
torch.Tensor) — يستخدم CogView3 تشفيرًا دقيقًا مشابهًا لـ SDXL لحجم الصورة المستهدفة كما هو موضح في القسم 2.2 من https://huggingface.co/papers/2307.01952. - crop_coords (
torch.Tensor) — يستخدم CogView3 تشفيرًا دقيقًا مشابهًا لـ SDXL لإحداثيات الاقتصاص كما هو موضح في القسم 2.2 من https://huggingface.co/papers/2307.01952. - return_dict (
bool، اختياري، القيمة الافتراضيةTrue) — ما إذا كان يجب إرجاع~models.transformer_2d.Transformer2DModelOutputبدلاً من tuple عادي.
يعيد
torch.Tensor أو ~models.transformer_2d.Transformer2DModelOutput
اللاتنتات بعد إزالة الضوضاء باستخدام المدخلات المقدمة كشرط.
طريقة CogView3PlusTransformer2DModel الأمامية.
Transformer2DModelOutput
فئة diffusers.models.modeling_outputs.Transformer2DModelOutput
< source >( sample: torch.Tensor )
المعاملات
- sample (
torch.Tensorمن الشكل(batch_size, num_channels, height, width)أو(batch size, num_vector_embeds - 1, num_latent_pixels)إذا كان Transformer2DModel منفصلاً) — مخرجات الحالات المخفية المشروطة على مدخلencoder_hidden_states. إذا كان منفصلاً، يعيد توزيعات الاحتمال للبكسلات الكامنة غير الملوثة.
مخرجات Transformer2DModel.