正規化レイヤー

🤗 Diffusers でさまざまなモデルをサポートするためのカスタマイズされた正規化レイヤー。

AdaLayerNorm

class diffusers.models.normalization.AdaLayerNorm

( embedding_dim: intnum_embeddings: int | None = Noneoutput_dim: int | None = Nonenorm_elementwise_affine: bool = Falsenorm_eps: float = 1e-05chunk_dim: int = 0 )

パラメータ

embedding_dim (int) — 各埋め込みベクトルのサイズ。
num_embeddings (int、任意) — 埋め込み辞書のサイズ。
output_dim (int、省略可) —
norm_elementwise_affine (bool、デフォルトは `False) —
norm_eps（bool、デフォルトはFalse）—
chunk_dim (int、デフォルトは0) —

タイムステップ埋め込みを組み込むよう修正されたNorm層。

AdaLayerNormZero

クラス diffusers.models.normalization.AdaLayerNormZero

< source >

( embedding_dim: intnum_embeddings: int | None = Nonenorm_type = 'layer_norm'bias = True )

パラメータ

embedding_dim (int) — 各埋め込みベクトルのサイズ。
num_embeddings (int) — 埋め込み辞書のサイズ。

Norm層の適応型レイヤーノーマゼロ（adaLN-Zero）。

AdaLayerNormSingle

クラス diffusers.models.normalization.AdaLayerNormSingle

< source >

( embedding_dim: intuse_additional_conditions: bool = False )

パラメータ

embedding_dim (int) — 各埋め込みベクトルのサイズ。
use_additional_conditions (bool) — 正規化に追加条件を使用するかどうか。

Norm層 adaptive layer norm single (adaLN-single)。

PixArt-Alpha（参照：https://huggingface.co/papers/2310.00426、セクション 2.3）で提案された方法です。

AdaGroupNorm

class diffusers.models.normalization.AdaGroupNorm

< source >

( embedding_dim: intout_dim: intnum_groups: intact_fn: str | None = Noneeps: float = 1e-05 )

パラメータ

embedding_dim (int) — 各埋め込みベクトルのサイズ。
num_embeddings (int) — 埋め込み辞書のサイズ。
num_groups (int) — チャンネルを分割するグループの数。
act_fn (str、省略可能、デフォルトは None) — 使用する活性化関数。
eps (float、任意、デフォルトは 1e-5) — 数値の安定性を確保するために使用する epsilon 値。

タイムステップ埋め込みを組み込むよう修正された GroupNorm レイヤー。

AdaLayerNormContinuous

クラス diffusers.models.normalization.AdaLayerNormContinuous

< source >

( embedding_dim: intconditioning_embedding_dim: intelementwise_affine = Trueeps = 1e-05bias = Truenorm_type = 'layer_norm' )

パラメータ

embedding_dim (int) — 投影時に使用する埋め込み次元数。
conditioning_embedding_dim (int) — 入力条件の次元数。
elementwise_affine (bool、デフォルトはTrue) — アフィン変換を適用するかどうかを示すブール値フラグです。
eps (float、デフォルト値: 1e-5) — Epsilon 係数。
bias (bias、デフォルトは True) — バイアスを使用するかどうかを示す Boolean フラグ。
norm_type (str, デフォルトは "layer_norm") — 使用する正規化レイヤーです。サポートされる値: “layer_norm”、“rms_norm”。

norm レイヤー（layer_norm または rms_norm）を備えた適応型正規化レイヤー。

RMSNorm

class diffusers.models.normalization.RMSNorm

< source >

( dimeps: floatelementwise_affine: bool = Truebias: bool = False )

パラメータ

dim (int) — weightsに使用する次元数。elementwise_affineがTrueの場合にのみ有効です。
eps (float) — 平方根の逆数を計算する際に使用する小さな値。
elementwise_affine (bool、デフォルトはTrue) — アフィン変換を適用するかどうかを示すブール値フラグです。
bias (bool、デフォルトは False) — bias パラメータも学習する場合に True にします。

Zhang らによって https://huggingface.co/papers/1910.07467 で導入された RMS Norm

GlobalResponseNorm

class diffusers.models.normalization.GlobalResponseNorm

< source >

( dim )

パラメータ

dim (int) — gamma と beta に使用する次元数。

ConvNeXt-v2 (https://huggingface.co/papers/2301.00808) で導入されたグローバルレスポンス正規化。

LuminaLayerNormContinuous

クラス diffusers.models.normalization.LuminaLayerNormContinuous

< source >

( embedding_dim: intconditioning_embedding_dim: intelementwise_affine = Trueeps = 1e-05bias = Truenorm_type = 'layer_norm'out_dim: int | None = None )