Fungsi aktivasi

Fungsi aktivasi yang dikustomisasi untuk mendukung berbagai model di 🤗 Diffusers.

GELU

( dim_in: intdim_out: intapproximate: str = 'none'bias: bool = True )

Parameter

dim_in (int) — Jumlah channel pada input.
dim_out (int) — Jumlah channel pada output.
approximate (str, opsional, default "none") — Jika "tanh", gunakan aproksimasi tanh.
bias (bool, defaultnya True) — Apakah akan menggunakan bias pada linear layer.

Fungsi aktivasi GELU dengan dukungan aproksimasi tanh menggunakan approximate="tanh".

( dim_in: intdim_out: intbias: bool = True )

Parameter

dim_in (int) — Jumlah channel pada input.
dim_out (int) — Jumlah channel pada output.
bias (bool, defaultnya True) — Apakah akan menggunakan bias pada linear layer.

Sebuah varian dari fungsi aktivasi gated linear unit.

( dim_in: intdim_out: intbias: bool = True )

Parameter

dim_in (int) — Jumlah channel pada input.
dim_out (int) — Jumlah channel pada output.
bias (bool, defaultnya True) — Apakah akan menggunakan bias pada linear layer.

Bentuk aproksimasi dari Gaussian Error Linear Unit (GELU). Untuk detail lebih lanjut, lihat bagian 2 dari makalah ini.

( dim_in: intdim_out: intbias: bool = True )

Parameter

dim_in (int) — Jumlah channel pada input.
dim_out (int) — Jumlah channel pada output.
bias (bool, defaultnya True) — Apakah akan menggunakan bias pada linear layer.

Sebuah varian dari fungsi aktivasi gated linear unit. Mirip dengan GEGLU tetapi menggunakan SiLU / Swish alih-alih GeLU.

( )

Fungsi aktivasi SiLU dengan input yang di-upcast ke torch.float32.

( dim_in: intdim_out: intbias: bool = Trueactivation: str = 'silu' )