Hugging Face's logo

Diffusers documentation

Funções de ativação

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v0.42.1).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Funções de ativação

Funções de ativação personalizadas para suportar vários modelos no 🤗 Diffusers.

GELU

classe diffusers.models.activations.GELU

< >

( dim_in: intdim_out: intapproximate: str = 'none'bias: bool = True )

Parâmetros

  • dim_in (int) — O número de canais na entrada.
  • dim_out (int) — O número de canais na saída.
  • approximate (str, opcional, padrão "none") — Se "tanh", usa a aproximação tanh.
  • bias (bool, padrão True) — Se deve usar um viés na camada linear.

Função de ativação GELU com suporte à aproximação tanh usando approximate="tanh".

GEGLU

classe diffusers.models.activations.GEGLU

< >

( dim_in: intdim_out: intbias: bool = True )

Parâmetros

  • dim_in (int) — O número de canais na entrada.
  • dim_out (int) — O número de canais na saída.
  • bias (bool, padrão True) — Se deve usar um viés na camada linear.

Uma variante da função de ativação da unidade linear com portão.

ApproximateGELU

classe diffusers.models.activations.ApproximateGELU

< >

( dim_in: intdim_out: intbias: bool = True )

Parâmetros

  • dim_in (int) — O número de canais na entrada.
  • dim_out (int) — O número de canais na saída.
  • bias (bool, padrão True) — Se deve usar um viés na camada linear.

A forma aproximada da Gaussian Error Linear Unit (GELU). Para mais detalhes, consulte a seção 2 deste artigo.

SwiGLU

classe diffusers.models.activations.SwiGLU

< >

( dim_in: intdim_out: intbias: bool = True )

Parâmetros

  • dim_in (int) — O número de canais na entrada.
  • dim_out (int) — O número de canais na saída.
  • bias (bool, padrão True) — Se deve usar um viés na camada linear.

Uma variante da função de ativação gated linear unit. É semelhante ao GEGLU, mas usa SiLU / Swish em vez de GeLU.

FP32SiLU

classe diffusers.models.activations.FP32SiLU

< >

( )

Função de ativação SiLU com entrada convertida para torch.float32.

LinearActivation

classe diffusers.models.activations.LinearActivation

< >

( dim_in: intdim_out: intbias: bool = Trueactivation: str = 'silu' )

Update on GitHub

←Processador de Atenção Métodos de cache→