Kandinsky 2.2

このスクリプトは実験的なものであり、過学習やカタストロフィック・フォーゲッティングなどの問題に陥りやすいです。データセットで最適な結果を得るために、さまざまなハイパーパラメータの探索をお試しください。

Kandinsky 2.2 は、よりフォトリアリスティックな画像を生成できる多言語テキストから画像への生成モデルです。このモデルには、テキストプロンプトから画像埋め込みを作成する image prior model と、prior model の埋め込みに基づいて画像を生成する decoder model が含まれています。そのため、Diffusers には Kandinsky 2.2 用の 2 つの独立したスクリプトがあり、1 つは prior model の学習用、もう 1 つは decoder model の学習用です。両方のモデルを個別に学習することは可能ですが、最適な結果を得るためには、prior model と decoder model の両方を学習する必要があります。

GPUの種類によっては、モデルをメモリに収め、トレーニングを高速化するために、gradient_checkpointing（⚠️ 以前のモデルではサポートされていません！）、mixed_precision、およびgradient_accumulation_stepsを有効にする必要があります。xFormers（バージョンv0.0.16では一部のGPUでトレーニングに失敗するため、代わりに開発版をインストールする必要がある場合があります）を使用してメモリ効率の高いアテンションを有効にすることで、メモリ使用量をさらに削減できます。

This guide explores the train_text_to_image_prior.py and the train_text_to_image_decoder.py scripts to help you become more familiar with it, and how you can adapt it for your own use-case.

スクリプトを実行する前に、ソースからライブラリをインストールしていることを確認してください。

git clone https://github.com/huggingface/diffusers
cd diffusers
pip install .

次に、トレーニングスクリプトが含まれるサンプルフォルダに移動し、使用するスクリプトに必要な依存関係をインストールします:

cd examples/kandinsky2_2/text_to_image
pip install -r requirements.txt

🤗 Accelerate は、複数 GPU/TPU での学習や混合精度学習を支援するためのライブラリです。ハードウェアや環境に基づいて、学習環境を自動的に設定します。詳細については、🤗 Accelerate のクイックツアーをご覧ください。

🤗 Accelerate の環境を初期化します:

accelerate config

設定を選択せずにデフォルトの🤗 Accelerate環境を設定するには:

accelerate config default

または、ノートブックのようにインタラクティブシェルをサポートしていない環境では、以下を使用できます。

from accelerate.utils import write_basic_config

write_basic_config()

最後に、独自のデータセットでモデルをトレーニングしたい場合は、トレーニング用のデータセットを作成するガイドを参照して、トレーニングスクリプトと互換性のあるデータセットの作成方法を確認してください。

以下のセクションでは、スクリプトの修正方法を理解するために重要なトレーニングスクリプトの一部を強調しています。ただし、スクリプトのすべての側面を詳細に説明するものではありません。さらに詳しく知りたい場合は、スクリプトを自由に読み進めていただき、ご質問や懸念事項があればお知らせください。

スクリプトのパラメータ

トレーニングスクリプトには、トレーニング実行をカスタマイズするための多くのパラメータが用意されています。すべてのパラメータとその説明は、parse_args()関数に記載されています。トレーニングスクリプトでは、トレーニングバッチサイズや学習率などの各パラメータにデフォルト値が設定されていますが、必要に応じてトレーニングコマンドで独自の値を設定することもできます。

例えば、fp16 形式の混合精度でトレーニングを高速化するには、トレーニングコマンドに --mixed_precision パラメータを追加します。

accelerate launch train_text_to_image_prior.py \
  --mixed_precision="fp16"

ほとんどのパラメータはテキストから画像への学習ガイドと同じです。それでは、Kandinskyの学習スクリプトの解説に入っていきましょう!

Min-SNR重み付け

Min-SNR重み付け戦略は、損失を再バランス化して収束を高速化することで、トレーニングを支援できます。トレーニングスクリプトはepsilon（ノイズ）またはv_predictionの予測をサポートしていますが、Min-SNRはどちらの予測タイプにも対応しています。この重み付け戦略はPyTorchでのみサポートされています。

--snr_gamma パラメータを追加し、推奨値である 5.0 に設定します:

accelerate launch train_text_to_image_prior.py \
  --snr_gamma=5.0

学習スクリプト

学習スクリプトは、テキストから画像への変換の学習ガイドと同様ですが、priorモデルとdecoderモデルの学習をサポートするように修正されています。このガイドでは、Kandinsky 2.2の学習スクリプトに固有のコードに焦点を当てます。

事前モデル

デコーダーモデル

main() 関数には、データセットの準備とモデルの学習を行うコードが含まれています。

すぐに気づく主な違いの一つとして、トレーニングスクリプトでは、画像の前処理用にCLIPImageProcessor、画像のエンコード用にCLIPVisionModelWithProjectionモデルを、スケジューラやトークナイザに加えて読み込む点です。

noise_scheduler = DDPMScheduler(beta_schedule="squaredcos_cap_v2", prediction_type="sample")
image_processor = CLIPImageProcessor.from_pretrained(
    args.pretrained_prior_model_name_or_path, subfolder="image_processor"
)
tokenizer = CLIPTokenizer.from_pretrained(args.pretrained_prior_model_name_or_path, subfolder="tokenizer")

with ContextManagers(deepspeed_zero_init_disabled_context_manager()):
    image_encoder = CLIPVisionModelWithProjection.from_pretrained(
        args.pretrained_prior_model_name_or_path, subfolder="image_encoder", dtype=weight_dtype
    ).eval()
    text_encoder = CLIPTextModelWithProjection.from_pretrained(
        args.pretrained_prior_model_name_or_path, subfolder="text_encoder", dtype=weight_dtype
    ).eval()

Kandinsky は画像埋め込みを生成するために PriorTransformer を使用するため、オプティマイザーを prior モードのパラメータを学習するように設定する必要があります。

prior = PriorTransformer.from_pretrained(args.pretrained_prior_model_name_or_path, subfolder="prior")
prior.train()
optimizer = optimizer_cls(
    prior.parameters(),
    lr=args.learning_rate,
    betas=(args.adam_beta1, args.adam_beta2),
    weight_decay=args.adam_weight_decay,
    eps=args.adam_epsilon,
)

次に、入力キャプションがトークン化され、画像はCLIPImageProcessorによって前処理されます:

def preprocess_train(examples):
    images = [image.convert("RGB") for image in examples[image_column]]
    examples["clip_pixel_values"] = image_processor(images, return_tensors="pt").pixel_values
    examples["text_input_ids"], examples["text_mask"] = tokenize_captions(examples)
    return examples

最後に、training loopは入力画像を潜在変数に変換し、画像埋め込みにノイズを加え、予測を行います。

model_pred = prior(
    noisy_latents,
    timestep=timesteps,
    proj_embedding=prompt_embeds,
    encoder_hidden_states=text_encoder_hidden_states,
    attention_mask=text_mask,
).predicted_image_embedding

トレーニングループの仕組みについてさらに詳しく知りたい場合は、デノイジングプロセスの基本的なパターンを解説しているパイプライン、モデル、スケジューラーの理解チュートリアルをご覧ください。

スクリプトを実行します

すべての変更が完了したか、デフォルトの設定で問題ない場合は、トレーニングスクリプトの起動準備が整いました! 🚀

Naruto BLIP captions データセットで学習し、独自のナルトキャラクターを生成します。ただし、学習用データセットの作成ガイドに従って、独自のデータセットを作成して学習することも可能です。Hub 上のデータセット名を環境変数 DATASET_NAME に設定してください。独自のファイルで学習する場合は、環境変数 TRAIN_DIR にデータセットへのパスを設定してください。

複数の GPU で学習を行う場合は、accelerate launch コマンドに --multi_gpu パラメータを追加してください。

Weights & Biases でトレーニングの進捗を監視するには、トレーニングコマンドに --report_to=wandb パラメータを追加します。また、結果を追跡するために、トレーニングコマンドに --validation_prompt も追加する必要があります。これにより、モデルのデバッグや中間結果の確認に非常に役立ちます。

事前モデル

デコーダーモデル

トレーニングが完了したら、新しく学習したモデルを推論に使用できます!

事前モデル

デコーダーモデル

次のステップ

Kandinsky 2.2 モデルの学習が完了しました。新しいモデルの使用方法について詳しく知るために、以下のガイドが役立つ可能性があります:

Kandinskyのガイドを読み、テキストから画像への変換、画像から画像への変換、インペインティング、補間など、さまざまなタスクでの使用方法や、ControlNetとの組み合わせ方法について学びましょう。
DreamBoothとLoRAのトレーニングガイドを参照し、わずか数枚のサンプル画像でパーソナライズされたKandinskyモデルをトレーニングする方法を学びましょう。これらの2つのトレーニング手法は組み合わせることも可能です。

Update on GitHub