Funciones de activación

Funciones de activación personalizadas para admitir varios modelos en 🤗 Diffusers.

GELU

( dim_in: intdim_out: intapproximate: str = 'none'bias: bool = True )

Parámetros

dim_in (int) — El número de canales en la entrada.
dim_out (int) — El número de canales en la salida.
approximate (str, opcional, valor predeterminado "none") — Si es "tanh", usa la aproximación tanh.
bias (bool, por defecto True) — Si se debe usar un sesgo en la capa lineal.

Función de activación GELU con soporte para aproximación tanh mediante approximate="tanh".

( dim_in: intdim_out: intbias: bool = True )

Parámetros

dim_in (int) — El número de canales en la entrada.
dim_out (int) — El número de canales en la salida.
bias (bool, por defecto True) — Si se debe usar un sesgo en la capa lineal.

Una variante de la función de activación de unidad lineal con compuerta.

( dim_in: intdim_out: intbias: bool = True )

Parámetros

dim_in (int) — El número de canales en la entrada.
dim_out (int) — El número de canales en la salida.
bias (bool, por defecto True) — Si se debe usar un sesgo en la capa lineal.

La forma aproximada de la unidad lineal de error gaussiano (GELU). Para más detalles, consulte la sección 2 de este artículo.

( dim_in: intdim_out: intbias: bool = True )

Parámetros

dim_in (int) — El número de canales en la entrada.
dim_out (int) — El número de canales en la salida.
bias (bool, por defecto True) — Si se debe usar un sesgo en la capa lineal.

Una variante de la función de activación de unidad lineal con puerta. Es similar a GEGLU pero usa SiLU / Swish en lugar de GeLU.

( )

Función de activación SiLU con la entrada convertida a torch.float32.

( dim_in: intdim_out: intbias: bool = Trueactivation: str = 'silu' )