Hugging Face's logo

Diffusers documentation

دوال التنشيط

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

دوال التنشيط

دوال تفعيل مخصصة لدعم نماذج متنوعة في 🤗 Diffusers.

GELU

فئة diffusers.models.activations.GELU

< >

( dim_in: intdim_out: intapproximate: str = 'none'bias: bool = True )

المعاملات

  • dim_in (int) — عدد القنوات في المدخلات.
  • dim_out (int) — عدد القنوات في المخرجات.
  • approximate (str، اختياري، الافتراضي "none") — إذا كان "tanh"، استخدم تقريب tanh.
  • bias (bool، القيمة الافتراضية True) — ما إذا كان سيتم استخدام انحياز في الطبقة الخطية.

دالة التنشيط GELU مع دعم تقريب tanh باستخدام approximate="tanh".

GEGLU

فئة diffusers.models.activations.GEGLU

< >

( dim_in: intdim_out: intbias: bool = True )

المعاملات

  • dim_in (int) — عدد القنوات في المدخلات.
  • dim_out (int) — عدد القنوات في المخرجات.
  • bias (bool، القيمة الافتراضية True) — ما إذا كان سيتم استخدام انحياز في الطبقة الخطية.

نوع متغير من دالة التنشيط للوحدة الخطية البوابة.

ApproximateGELU

فئة diffusers.models.activations.ApproximateGELU

< >

( dim_in: intdim_out: intbias: bool = True )

المعاملات

  • dim_in (int) — عدد القنوات في المدخلات.
  • dim_out (int) — عدد القنوات في المخرجات.
  • bias (bool، القيمة الافتراضية True) — ما إذا كان سيتم استخدام انحياز في الطبقة الخطية.

الشكل التقريبي لوحدة الخطأ الغاوسي الخطية (GELU). لمزيد من التفاصيل، راجع القسم 2 من هذا ورقة بحثية.

SwiGLU

فئة diffusers.models.activations.SwiGLU

< >

( dim_in: intdim_out: intbias: bool = True )

المعاملات

  • dim_in (int) — عدد القنوات في المدخلات.
  • dim_out (int) — عدد القنوات في المخرجات.
  • bias (bool، القيمة الافتراضية True) — ما إذا كان سيتم استخدام انحياز في الطبقة الخطية.

نوع مشتق من دالة التنشيط المعروفة باسم الوحدة الخطية البوابة. تشبه GEGLU لكنها تستخدم SiLU / Swish بدلاً من GeLU.

FP32SiLU

فئة diffusers.models.activations.FP32SiLU

< >

( )

دالة التنشيط SiLU مع رفع نوع بيانات المدخلات إلى torch.float32.

LinearActivation

فئة diffusers.models.activations.LinearActivation

< >

( dim_in: intdim_out: intbias: bool = Trueactivation: str = 'silu' )

Update on GitHub

←معالج الانتباه طرق التخزين المؤقت→