パラメータ

• hf_ds_config (Any、デフォルトはNone) — DeepSpeed設定ファイルへのパス、dict、またはaccelerate.utils.deepspeed.HfDeepSpeedConfigクラスのオブジェクト。
• gradient_accumulation_steps (int、デフォルトはNone) — オプティマイザの状態を更新する前に勾配を累積するステップ数。設定されていない場合、Acceleratorの値が直接使用されます。
• gradient_clipping (float、デフォルトはNone) — 指定した値で勾配クリッピングを有効にします。
• zero_stage (int、デフォルトはNone) — 選択肢は 0、1、2、3 です。デフォルト値は環境変数から取得されます。
• is_train_batch_min (bool、デフォルトは True) — train と eval の両方の dataloader が指定されている場合、train_batch_size を決定します。
• offload_optimizer_device (str、デフォルトは None) — 選択可能なオプションは none|cpu|nvme です。ZeRO Stages 2 と 3 の場合にのみ適用されます。
• offload_param_device (str、デフォルトはNone) — 選択肢は none|cpu|nvme です。ZeRO Stage 3 の場合にのみ適用されます。
• offload_optimizer_nvme_path (str、デフォルトはNone) — 選択可能なオプションは /nvme|/local_nvme です。ZeRO Stage 3でのみ適用されます。
• offload_param_nvme_path (str、デフォルトは None) — 選択可能なオプションは /nvme|/local_nvme です。ZeRO Stage 3 の場合にのみ適用されます。
• zero3_init_flag (bool、デフォルトはNone) — 16ビットモデルを保存するかどうかを示すフラグ。ZeRO Stage-3でのみ適用されます。
• zero3_save_16bit_model (bool、デフォルトはNone) — 16ビットモデルを保存するかどうかを示すフラグ。ZeRO Stage-3でのみ適用されます。
• transformer_moe_cls_names (str、デフォルトは None) — Transformers の MoE レイヤーのクラス名をカンマ区切りで指定します(大文字と小文字を区別します)。例えば、MixtralSparseMoeBlock、Qwen2MoeSparseMoeBlock、JetMoEAttention、JetMoEBlock などです。

パラメータ

• fsdp_version (int、デフォルトは 1) — 使用する FSDP のバージョンです。デフォルトは 1 です。2 に設定すると、ランチャーは設定が FSDP2 形式に変換されていることを期待します。
• sharding_strategy (Union[str, torch.distributed.fsdp.ShardingStrategy]、デフォルトは 'FULL_SHARD') — 使用するシャーディング戦略です。str または torch.distributed.fsdp.fully_sharded_data_parallel.ShardingStrategy のインスタンスである必要があります。reshard_after_forward に置き換えられるため、非推奨です。
• reshard_after_forward (Union[str, torch.distributed.fsdp.ShardingStrategy, bool]、fsdp_version=1 の場合は 'FULL_SHARD'、fsdp_version=2 の場合は True がデフォルト) — 使用するシャーディング戦略です。fsdp_version が 2 に設定されている場合は bool 型、それ以外の場合は str または torch.distributed.fsdp.fully_sharded_data_parallel.ShardingStrategy のインスタンスである必要があります。
• backward_prefetch (Union[str, torch.distributed.fsdp.BackwardPrefetch]、デフォルトは 'NO_PREFETCH') — 使用するバックワードプリフェッチ戦略です。str または torch.distributed.fsdp.fully_sharded_data_parallel.BackwardPrefetch のインスタンスのいずれかである必要があります。
• mixed_precision_policy (Optional[Union[dict, str, torch.distributed.fsdp.MixedPrecision, torch.distributed.fsdp.MixedPrecisionPolicy]]、デフォルトは None) — FullyShardedDataParallel による混合精度学習を有効にするための設定です。dict を渡す場合は、param_dtype、reduce_dtype、buffer_dtype というキーを持つ必要があります。fsdp_version が 2 に設定されている場合、torch.distributed.fsdp.MixedPrecisionPolicy のインスタンスを渡すこともできます。str を渡す場合は、fp8、fp16、bf16、fp32 のいずれかの値である必要があり、param_dtype、reduce_dtype、buffer_dtype を設定するために使用されます。
• auto_wrap_policy (Optional(Union[Callable, Literal["transformer_based_wrap", "size_based_wrap", "no_wrap"]]), defaults to NO_WRAP) -- A callable or string specifying a policy to recursively wrap layers with FSDP. If a string, it must be one of transformer_based_wrap, size_based_wrap, or no_wrap. See torch.distributed.fsdp.wrap.size_based_wrap_policy` for a direction on what it should look like.
• cpu_offload (Union[bool, torch.distributed.fsdp.CPUOffload, torch.distributed.fsdp.CPUOffloadPolicy]、デフォルトはFalse) — パラメータをCPUにオフロードするかどうか。bool、またはfsdp_versionが2に設定されている場合はtorch.distributed.fsdp.fully_sharded_data_parallel.CPUOffloadまたはtorch.distributed.fsdp.fully_sharded_data_parallel.CPUOffloadPolicyのインスタンスである必要があります。
• ignored_modules (Optional[Union[Iterable[torch.nn.Module], str]]、デフォルトはNone) — FSDPでラップする際に無視するモジュールのリストです。文字列を渡す場合、正規表現のfullmatchを使用してモジュール名に一致させます。fsdp_versionが2に設定されている場合、モジュールはパラメータに変換されて使用されます。
• state_dict_type (Union[str, torch.distributed.fsdp.StateDictType]、デフォルトは 'FULL_STATE_DICT') — 使用する State dict のタイプです。文字列の場合、full_state_dict、local_state_dict、または sharded_state_dict のいずれかである必要があります。
• state_dict_config (Optional[Union[torch.distributed.fsdp.FullStateDictConfig, torch.distributed.fsdp.ShardedStateDictConfig]、デフォルトはNone) — 使用する state dict の設定です。指定されない場合、state_dict_type に基づいて決定されます。
• optim_state_dict_config (Optional[Union[torch.distributed.fsdp.FullOptimStateDictConfig, torch.distributed.fsdp.ShardedOptimStateDictConfig]、デフォルトはNone) — 使用する Optim state dict の設定です。指定されない場合は、state_dict_typeに基づいて決定されます。
• limit_all_gathers (bool、デフォルトはTrue) — FSDPがCPUスレッドを明示的に同期させ、進行中のall-gatherが過多になるのを防ぐかどうかを指定します。このboolは、all-gatherをスケジュールするシャーディング戦略にのみ影響します。これを有効にすると、CUDA mallocのリトライ回数を減らすのに役立つ場合があります。
• use_orig_params (bool、デフォルトはFalse) — オプティマイザーに元のパラメータを使用するかどうか。
• param_init_fn (Optional[Callable[[torch.nn.Module], None]、デフォルトは None) — メタデバイス上に現在存在するモジュールを実際のデバイスに初期化する方法を指定する Callable[torch.nn.Module] -> None です。 sync_module_states が True の場合にのみ適用されます。デフォルトでは、モジュールに対して to_empty を呼び出す lambda です。
• sync_module_states (bool、デフォルトはFalse) — 個別にラップされた各 FSDP ユニットが、初期化後にすべてのランクでモジュールのパラメータが同一であることを保証するために、ランク 0 からモジュールのパラメータをブロードキャストすべきかどうかを指定します。cpu_ram_efficient_loading がTrueの場合を除き、デフォルトはFalseです。その場合は、強制的に有効化されます。
• forward_prefetch (bool、デフォルトはFalse) — フォワードパスの実行中に、FSDP が次の all-gather を明示的にプリフェッチするかどうか。静的グラフでのみ使用してください。
• activation_checkpointing (bool、デフォルトはFalse) — 特定の層のアクティベーションをクリアし、バックワードパス時に再計算することでメモリ使用量を削減する技術です。実質的に、追加の計算時間を引き換えにメモリ使用量を削減します。
• cpu_ram_efficient_loading (bool、デフォルトはNone) — True の場合、最初のプロセスのみが事前学習済みモデルのチェックポイントをロードし、その他のすべてのプロセスは重みが空になります。Transformers の場合にのみ適用されます。これを使用する場合は、sync_module_states を True にする必要があります。
• transformer_cls_names_to_wrap (Optional[List[str]]、デフォルトは None) — ラップする Transformer レイヤーのクラス名のリストです。auto_wrap_policy が transformer_based_wrap の場合にのみ適用されます。
• min_num_params (Optional[int]、デフォルトは None) — モジュールをラップするために必要な最小のパラメータ数です。auto_wrap_policy が size_based_wrap の場合にのみ適用されます。

パラメータ

• num_steps (int) — 勾配を累積するステップ数。
• adjust_scheduler (bool、任意、デフォルトはTrue) — ステップの蓄積数を考慮してスケジューラのステップを調整するかどうか。使用しているスケジューラが勾配蓄積用に調整されていない場合は、Trueに設定してください。
• sync_with_dataloader (bool、省略可能、デフォルトはTrue) — dataloaderの末尾で勾配の設定を同期させるかどうか。
• sync_each_batch (bool, 省略可) — 各データバッチごとに勾配の設定を同期するかどうか。True に設定すると、分散学習で勾配蓄積を使用する場合にメモリ要件を削減できますが、速度が犠牲になります。

パラメータ

• tp_degree (int、デフォルトはNone) — テンソル並列の度合い。
• pp_degree (int、デフォルトはNone) — パイプライン並列度。
• num_micro_batches (int、デフォルトはNone) — マイクロバッチの数。
• gradient_clipping (float, デフォルトは None) — グローバル L2 ノルムに基づく勾配クリッピングの値 (無効にする場合は 0)。
• sequence_parallelism (bool、デフォルトはNone) — シーケンス並列処理を有効にします。
• recompute_activations (bool、デフォルトはNone) — 選択的なアクティベーション再計算を有効にします。
• use_distributed_optimizer (bool、デフォルトはNone) — 分散オプティマイザーを有効にします。
• pipeline_model_parallel_split_rank (int、デフォルトはNone) — エンコーダーとデコーダーを分割するランク。
• num_layers_per_virtual_pipeline_stage (int, デフォルトはNone) — 仮想パイプラインステージあたりのレイヤー数。
• is_train_batch_min (str、デフォルトはTrue) — trainおよびevalの両方のdataloaderが指定されている場合、micro_batch_sizeを決定します。
• train_iters (int、デフォルトはNone) — すべてのトレーニング実行にわたって学習するサンプルの総数です。MegatronLMDummySchedulerを使用する場合は、train-itersまたはtrain-samplesのいずれかを指定する必要があります。
• train_samples (int、デフォルトはNone) — すべてのトレーニング実行にわたって学習するサンプルの総数です。MegatronLMDummySchedulerを使用する場合は、train-itersまたはtrain-samplesのいずれかを指定する必要があります。
• weight_decay_incr_style (str、デフォルトは'constant') — Weight decayの増加関数。choices=[“constant”, “linear”, “cosine”]。
• start_weight_decay (float、デフォルトはNone) — L2正則化の初期ウェイト減衰係数。
• end_weight_decay (float, デフォルトは None) — L2 正則化における、ランの終了時の重み減衰係数。
• lr_decay_style (str、デフォルトは'linear') — 学習率の減衰関数。choices=[‘constant’, ‘linear’, ‘cosine’]。
• lr_decay_iters (int、デフォルトはNone) — 学習率の減衰を行う反復回数です。None の場合は、train_itersがデフォルト値として使用されます。
• lr_decay_samples (int、デフォルトはNone) — 学習率減衰のためのサンプル数。None の場合はtrain_samplesがデフォルトになります。
• lr_warmup_iters (int、デフォルトはNone) — 学習率を線形ウォームアップする反復回数。
• lr_warmup_samples (int、デフォルトはNone) — 学習率を線形ウォームアップさせるサンプル数。
• lr_warmup_fraction (float、デフォルトはNone) — 学習率を線形ウォームアップする lr-warmup-(イテレーション数/サンプル数) の割合。
• min_lr (float、デフォルトは0) — 学習率の最小値。スケジューラは、この閾値を下回る値をクリップします。
• consumed_samples (List、デフォルトはNone) — accelerator.prepare呼び出しのデータローダーと同じ順序で消費されたサンプルの数。
• no_wd_decay_cond (Optional、デフォルトはNone) — 重み減衰を無効にする条件。
• scale_lr_cond (Optional、デフォルトはNone) — 学習率をスケーリングする条件。
• lr_mult (float、デフォルトは1.0) — 学習率の乗数。
• megatron_dataset_flag (bool、デフォルトはFalse) — データセットの形式がMegatron-LMのIndexed/Cached/MemoryMapped形式に従っているかどうか。
• seq_length (int, デフォルトは None) — 処理するシーケンスの最大長です。
• encoder_seq_length (int, デフォルトは None) — エンコーダーで処理するシーケンスの最大長です。
• decoder_seq_length (int, デフォルトは None) — デコーダーで処理するシーケンスの最大長。
• tensorboard_dir (str、デフォルトはNone) — tensorboardログを保存するパス。
• set_all_logging_options (bool、デフォルトはFalse) — すべてのログオプションを設定するかどうか。
• eval_iters (int、デフォルトは100) — 評価用の検証/テストを実行する反復回数。
• eval_interval (int, デフォルトは 1000) — 検証セットでの評価を実行する間隔。
• return_logits (bool、デフォルトは False) — モデルから logits を返すかどうか。
• custom_train_step_class (Optional、デフォルトはNone) — カスタムな学習ステップクラスです。
• custom_train_step_kwargs (Optional、デフォルトはNone) — カスタムな学習ステップのキーワード引数。
• custom_model_provider_function (Optional、デフォルトはNone) — カスタムモデルプロバイダー関数。
• custom_prepare_model_function (Optional、デフォルトはNone) — カスタムのモデル準備関数。
• custom_megatron_datasets_provider_function (Optional、デフォルトはNone) — カスタムの megatron train_valid_test データセットプロバイダー関数。
• custom_get_batch_function (Optional、デフォルトはNone) — カスタムのバッチ取得関数。
• custom_loss_function (Optional、デフォルトはNone) — カスタム損失関数。
• other_megatron_args (Optional、デフォルトはNone) — その他の Megatron-LM 引数。Megatron-LM を参照してください。

パラメータ

• backend (DynamoBackend、デフォルトは None) — 有効な Dynamo バックエンドです。詳細は https://pytorch.org/docs/stable/torch.compiler.html を参照してください。
• mode (str、デフォルトはNone) — 選択可能なオプションは ‘default’、‘reduce-overhead’、‘max-autotune’ です。
• fullgraph (bool、デフォルトはNone) — モデルを複数のサブグラフに分割してよいかどうかを指定します。
• dynamic (bool, デフォルトは None) — トレースに動的な形状を使用するかどうか。
• options (Any、デフォルトはNone) — バックエンドに渡すオプションの辞書です。
• disable (bool、デフォルトはFalse) — テスト用にtorch.compile()を何もしない操作（no-op）にします
• use_regional_compilation (bool、デフォルトは None) — GPT2LMHeadModel のようなモデルにおいて、同じクラスの繰り返しブロックを対象としてそれらを順次コンパイルすることでコンパイラのキャッシュにヒットさせ、torch.compile() のコールドスタート時のコンパイル時間を短縮するために使用します。例えば、GPT2LMHeadModel では繰り返しブロック/クラスは GPT2Block であり、model.transformer.h[0] としてアクセスできます。モデルの残りの部分（例: model.lm_head）は別途コンパイルされます。

パラメータ

• load_in_8bit (bool、デフォルトはFalse) — 8bit量子化を有効にします。
• llm_int8_threshold (float、デフォルト値は6.0) — アウトラインの閾値。load_in_8bit=Trueの場合のみ関連します。
• load_in_4bit (bool、デフォルトはFalse) — 4bit量子化を有効にします。
• bnb_4bit_quant_type (str、デフォルトはfp4) — bnb.nn.Linear4Bitレイヤーにおける量子化データ型を設定します。オプションは{‘fp4’,‘np4’}です。
• bnb_4bit_use_double_quant (bool、デフォルトはFalse) — 最初の量子化から得られた量子化定数を再度量子化することで、ネストされた量子化を有効にします。
• bnb_4bit_compute_dtype (bool、デフォルトは fp16) — 入力時とは異なる計算用のデータ型を設定します。例えば、入力が fp32 であっても、高速化のために計算を bf16 に設定できます。オプションは {‘fp32’,‘fp16’,‘bf16’} です。
• torch_dtype (torch.dtype、デフォルトは None) — これは、残りの非量子化レイヤーの dtype を設定します。bitsandbytes ライブラリでは、8 ビットモデルの場合は値を torch.float16 に設定し、4 ビットモデルの場合は計算用の dtype と同じ dtype を使用することを推奨しています。
• skip_modules (List[str]、デフォルトはNone) — 量子化しないモジュールの明示的なリストです。これらのモジュールのdtypeはtorch_dtypeになります。
• keep_in_fp32_modules (List、デフォルトはNone) — 量子化しないモジュールの明示的なリストです。これらはtorch.float32のまま保持されます。

パラメータ

• split_batches (bool、デフォルトは False) — Accelerator が、dataloader によって生成されるバッチをデバイス間で分割するかどうかを指定します。True の場合、実際のバッチサイズはあらゆる種類の分散プロセスで同じになりますが、使用している num_processes の整数倍である必要があります。False の場合、実際のバッチサイズは、スクリプトで設定した値にプロセス数を掛けたものになります。
• dispatch_batches (bool、デフォルトは None) — True に設定すると、Accelerator によって準備された dataloader はメインプロセスでのみ反復され、その後バッチが分割されて各プロセスにブロードキャストされます。基礎となるデータセットが IterableDataset である DataLoader の場合はデフォルトで True となり、それ以外の場合は False となります。
• even_batches (bool、デフォルトは True) — True に設定すると、全プロセスにわたるバッチサイズ合計がデータセットを正確に割り切れない場合、バッチをすべてのワーカーで均等に分割できるように、データセットの先頭にあるサンプルが重複して使用されます。
• use_seedable_sampler (bool、デフォルトはFalse) — 完全にシード指定可能なランダムサンプラー(data_loader.SeedableRandomSampler)を使用するかどうか。異なるサンプリング手法を用いることで、トレーニング結果を完全に再現可能にします。シード間の結果には差が生じる場合がありますが、複数の異なるシードで比較した場合、平均的な差は無視できるほど小さいです。最適な結果を得るには、set_seed()も併せて実行する必要があります。
• data_seed (int、デフォルトはNone) — use_seedable_samplerを使用する場合、基盤となるジェネレーターに使用するシードです。Noneの場合、ジェネレーターはtorchの現在のデフォルトのシードを使用します。
• non_blocking (bool、デフォルトは False) — True に設定すると、Accelerator によって準備された dataloader は非ブロッキングなホストからデバイスへの転送を利用し、dataloader の通信と計算のオーバーラップを改善できます。正常に動作させるには、準備された dataloader で pin_memory が True に設定されていることをお勧めします。
• use_stateful_dataloader (bool、デフォルトはFalse) — Trueに設定すると、Acceleratorによって準備されるdataloaderはtorchdata.StatefulDataLoaderによってサポートされます。 これには、StatefulDataLoaderをサポートするtorchdataのバージョン0.8.0以上がインストールされている必要があります。

パラメータ

• project_dir (str、デフォルトはNone) — データを保存するためのディレクトリへのパス。
• logging_dir (str、デフォルトはNone) — ローカルで互換性のあるロガーのログを保存するディレクトリへのパスです。None の場合、デフォルトでproject_dirになります。
• automatic_checkpoint_naming (bool、デフォルトはFalse) — 保存された状態に自動的に連番の名前を付けるかどうか。
• total_limit (int, デフォルトは None) — 保持する保存状態の総数の最大値です。
• iteration (int、デフォルトは0) — 現在の保存イテレーション。
• save_on_each_node (bool、デフォルトはFalse) — マルチノード分散学習を行う場合、モデルとチェックポイントを各ノードに保存するか、メインノードのみに保存するかを指定します。

パラメータ

• tensor（torch.Tensorのネストされたリスト/タプル/辞書）— 集約するデータ。
• from_process (int、省略可能、デフォルトは 0) — データを送信するプロセス

パラメータ

• object_list (picklableなオブジェクトのリスト) — ブロードキャストするオブジェクトのリストです。このリストはインプレースで変更されます。
• from_process (int、省略可能、デフォルトは 0) — データを送信するプロセス。

パラメータ

• data (テンソルのリストのネストされたリスト/タプル/辞書 torch.Tensor) — 連結するデータ。
• dim (int、任意、デフォルトは 0) — 連結を行う次元。

パラメータ

• tensor (torch.Tensor のネストされたリスト/タプル/辞書) — FP16/BF16 から FP32 へ変換するデータ。

パラメータ

• tensor（torch.Tensorのネストされたリスト/タプル/辞書）— 集約するデータ。

パラメータ

• object (pickle可能なオブジェクトのネストされたリスト/タプル/辞書) — 集約するデータ。

パラメータ

• distributed_type (DistributedType、任意、デフォルトは None) — 分散環境のタイプです。
• kwargs — 利用するGradScalerコンストラクタの追加引数。

パラメータ

• native_amp (bool、任意、デフォルトは False) — 混合精度が実際に有効化されているかどうか。

パラメータ

• data (torch.Tensor のネストされたリスト/タプル/辞書) — 通常の数値に変換する対象のデータ。

パラメータ

• tensor（torch.Tensorのネストされたリスト/タプル/辞書）— 集約するデータ。
• dim (int、任意、デフォルトは 0) — パディングを適用する次元。
• pad_index (int, 任意、デフォルトは 0) — パディングに使用する値。
• pad_first (bool、任意、デフォルトはFalse) — 先頭でパディングを行うか、末尾でパディングを行うかを指定します。

パラメータ

• func (callable) — 再帰的に適用する関数。
• data (test_type が受け入れるオブジェクトのネストされたリスト/タプル/辞書) — func を適用する対象のデータ
• *args — 展開されたデータに func を適用する際に、func に渡される位置引数。
• test_type (Callable[[Any], bool]、省略可能、デフォルトはis_torch_tensor) — funcを特定のリーフオブジェクトに適用すべきかどうかを判定する述語です。
• error_on_other_type (bool、任意、デフォルトはFalse) — dataをアンパックした後に、test_typeがFalseを返すオブジェクトに遭遇した場合、エラーを返すかどうかを指定します。Falseの場合、関数はそのようなオブジェクトを変更せずにそのまま返します。
• **kwargs (追加のキーワード引数、任意) — アンパックされたデータに func を適用する際に、func に渡されるキーワード引数です。

パラメータ

• tensor (torch.Tensor のネストされたリスト/タプル/辞書) — 集約するデータ。
• reduction (str、任意、デフォルトは"mean") — 集約方法。“mean”、“sum”、“max”、“none”のいずれかを指定できます。
• scale (float, 省略可能) — reduce の後に適用されるデフォルトのスケーリング値です。XLA のみ有効です。

パラメータ

• tensor（torch.Tensorのネストされたリスト/タプル/辞書）— 指定されたデバイスに送信するデータ。
• device (torch.device) — データを転送するデバイス。
• non_blocking (bool、省略可、デフォルトはFalse) — Trueの場合、デバイスへの転送が非同期で実行され、データの移動と計算をオーバーラップさせることができます。デバイスがサポートしている場合のみ有効です（例: CUDA）。
• skip_keys (str または List[str]、省略可) — 辞書型 tensor の中から、指定された device へ送信すべきでないキー、またはそのリスト。これらのキーを持つエントリは、元のデバイスに保持されます。

パラメータ

• data (torch.Tensor のネストされたリスト/タプル/辞書) — スライスするデータ。
• tensor_slice (slice) — 取得するスライス。

パラメータ

• operation (str) — 演算子の文字列表現。例: ">" または "<="
• version (str) — PyTorchの文字列形式のバージョン

パラメータ

• mixed_precision (str、任意、デフォルトは “no”) — 使用する Mixed Precision です。“no”、“fp16”、“bf16” のいずれかである必要があります。
• save_location (str、任意、デフォルトは default_json_config_file) — 任意のカスタム保存先です。accelerate launch を使用する際は、--config_file に渡す必要があります。デフォルトの保存先は Hugging Face のキャッシュフォルダ内 (~/.cache/huggingface) ですが、HF_HOME 環境変数を設定することで上書きでき、その後に accelerate/default_config.yaml が続きます。

パラメータ

• local_process_index (int) — 現在のサーバー上の現在のプロセスのインデックス。
• verbose (bool, オプション) — 各プロセスの新しい CPU コア割り当てを出力するかどうか。ACCELERATE_DEBUG_MODE が有効な場合、デフォルトで True になります。

パラメータ

• local_process_index (int) — 現在のサーバー上の現在のプロセスのインデックス。
• verbose (bool, 任意) — 各CPUへの割り当てをログ出力するかどうか。ACCELERATE_DEBUG_MODEが有効な場合、デフォルトでTrueになります。

パラメータ

• function (callable, 任意) — ラップする関数
• starting_batch_size (int, 任意) — メモリに収まるよう試みるバッチサイズ
• reduce_batch_size_fn (callable、省略可) — メモリ不足エラーが発生した後の新しいバッチサイズを決定する関数です。指定しない場合、失敗するたびにバッチサイズが0.9倍になります。この関数は引数を受け取らず、新しい（縮小された）バッチサイズをintとして返す必要があります。

パラメータ

• model (torch.nn.Module) — 抽出するモデル。
• keep_fp32_wrapper (bool、省略可) — モデルから混合精度フックを削除するかどうかを指定します。
• keep_torch_compile (bool、省略可) — コンパイル済みモデルをアンラップするかどうか。
• recursive (bool、省略可、デフォルトはFalse) — トップレベルの分散コンテナだけでなく、modelからmodule.moduleのすべてのケースを再帰的に抽出し、子サブレイヤーも再帰的にアンラップするかどうか。

パラメータ

• model (torch.nn.Module) — 解析対象のモデル。
• max_memory (Dict, 任意) — デバイス識別子から最大メモリ量への辞書です。未設定の場合は、利用可能な最大メモリがデフォルトとして使用されます。 例: max_memory={0: "1GB"}。
• no_split_module_classes (List[str], 任意) — デバイス間で分割すべきでないレイヤーのクラス名のリストです（残差接続を持つレイヤーなど）。
• dtype (str または torch.dtype、省略可) — 指定された場合、読み込み時に重みがその型に変換されます。
• special_dtypes (Dict[str, Union[str, torch.device]], 省略可) — 指定した場合、特定の重みに適用する特殊な dtype です（すべての重みにデフォルトとして使用される dtype を上書きします）。
• low_zero (bool、省略可) — GPU 0 上の重みの数を最小化します。Transformers の generate 関数など、他の操作に GPU 0 を使用する場合に便利です。

パラメータ

• modules (List[Tuple[str, torch.nn.Module]]) — 最大レイヤーサイズを決定したい名前付きモジュールのリストです。
• module_sizes (Dict[str, int]) — compute_module_sizes によって生成される、各レイヤー名とそのサイズ（バイト数）の対応を示す辞書です。
• no_split_module_classes (List[str]) — 分割したくないレイヤーのクラス名のリストです。

パラメータ

• model (torch.nn.Module) — 解析対象のモデル。
• max_memory (Dict, 任意) — デバイス識別子から最大メモリ量への辞書です。未設定の場合は、利用可能な最大メモリがデフォルトとして使用されます。 例: max_memory={0: "1GB"}。
• no_split_module_classes (List[str], 任意) — デバイス間で分割すべきでないレイヤーのクラス名のリストです（残差接続を持つレイヤーなど）。
• dtype (str または torch.dtype、省略可) — 指定された場合、読み込み時に重みがその型に変換されます。
• special_dtypes (Dict[str, Union[str, torch.device]], 省略可) — 指定した場合、特定の重みに適用する特殊な dtype です（すべての重みにデフォルトとして使用される dtype を上書きします）。
• verbose (bool、任意、デフォルトはFalse) — device_map を構築する際に、デバッグ用のステートメントを出力するかどうかを指定します。
• clean_result (bool、省略可能、デフォルトはTrue) — 同じデバイスに配置されるすべてのサブモジュールをグループ化して、結果の device_map を整理します。
• offload_buffers (bool、任意、デフォルトはFalse) — CPUまたはハードドライブにオフロードされるレイヤーにおいて、パラメータに加えてバッファもオフロードするかどうか。
• fallback_allocation (bool、任意、デフォルトはFalse) — 通常の割り当てが失敗した場合、BFS を使用してサイズ制限内に収まるモジュールの割り当てを試みます。

パラメータ

• model (torch.nn.Module) — チェックポイントを読み込みたいモデル。
• checkpoint (str または os.PathLike) — 読み込むフォルダのチェックポイントです。以下の場合があります:
  • モデル全体の state dict を含むファイルへのパス
  • シャード化されたチェックポイントのインデックスを含む.jsonファイルへのパス
  • 一意の.index.jsonファイルとチェックポイントのシャードを含むフォルダへのパス。
  • 一意のpytorch_model.binまたはmodel.safetensorsファイルを含むフォルダへのパス。
• device_map (Dict[str, Union[int, str, torch.device]], 省略可) — 各サブモジュールをどのデバイスに配置するかを指定するマップです。パラメータやバッファの名前まで細かく指定する必要はなく、特定のモジュール名が指定されると、そのモジュールのすべてのサブモジュールが同じデバイスに送信されます。
• offload_folder (str または os.PathLike、省略可) — device_map に "disk" という値が含まれている場合、重みをオフロードするフォルダ。
• dtype (str または torch.dtype、省略可) — 指定された場合、読み込み時に重みがその型に変換されます。
• offload_state_dict (bool、省略可、デフォルトはFalse) — Trueの場合、CPU state dictの重みと最大のシャードの合計がCPU RAMに収まらない場合に、CPU RAM不足を回避するため、CPU state dictを一時的にハードドライブにオフロードします。
• offload_buffers (bool、任意、デフォルトはFalse) — ディスクにオフロードされる重みにバッファを含めるかどうかを指定します。
• keep_in_fp32_modules(List[str], optional) — torch.float32 dtype で保持するモジュールのリスト。
• offload_8bit_bnb (bool, 省略可) — 8ビットモジュールのCPU/ディスクへのオフロードを有効にするかどうか。
• strict (bool、省略可、デフォルトはFalse) — チェックポイントのstate_dictのキーが、モデルのstate_dictのキーと厳密に一致することを強制するかどうか。
• full_state_dict (bool、省略可能、デフォルトはTrue) — Trueに設定すると、読み込まれた state_dict 内のすべてのテンソルが集約されます。読み込まれた state_dict には、ShardedTensor や DTensor は含まれません。
• broadcast_from_rank0 (False、任意、デフォルトは False) — このオプションが True の場合、分散 ProcessGroup が初期化されている必要があります。rank0 は完全な state_dict を受信し、state_dict 内のテンソルを 1 つずつ他の rank にブロードキャストします。他の rank はテンソルを受信し、モデル内のローカルシャードに応じてシャード化（該当する場合）します。

パラメータ

• model (torch.nn.Module) — 重みをロードする対象のモデル。
• index (dict) — モデルからオフロードされた各パラメータのパラメータ名とそのメタデータを含む辞書。
• offload_folder (str) — オフロードされた重みが保存されるフォルダ。

パラメータ

• checkpoint_file (str) — 読み込むチェックポイントのパス。
• device_map (Dict[str, Union[int, str, torch.device]], 省略可) — 各サブモジュールをどのデバイスに配置するかを指定するマップです。パラメータやバッファの名前まで細かく指定する必要はなく、特定のモジュール名が指定されると、そのモジュールのすべてのサブモジュールが同じデバイスに送信されます。

パラメータ

• save_dir (str または os.PathLike) — state dict をオフロードするディレクトリ。
• state_dict (Dict[str, torch.Tensor]) — オフロードするテンソルの辞書です。

パラメータ

• model (torch.nn.Module) — パラメータの再結合を行う対象のモデル。
• tied_params (List[List[str]]) — find_tied_parameters によって取得される、パラメータ名から紐付けられたパラメータ名へのマッピング。

パラメータ

• module (torch.nn.Module) — 移動したいテンソルが存在するモジュール。
• tensor_name (str) — パラメータ/バッファの完全な名前。
• device (int、strまたはtorch.device) — テンソルを設定するデバイス。
• value (torch.Tensor, 任意) — テンソルの値（meta デバイスから他のデバイスへ移動する際に有用です）。
• dtype (torch.dtype, 省略可) — 指定された場合、パラメータの値はこのdtypeにキャストされます。指定されない場合、valueはモデル内の既存パラメータのdtypeにキャストされます。
• fp16_statistics (torch.HalfTensor, 任意) — モジュールに設定する fp16 統計のリストです。8 ビットモデルのシリアライズに使用されます。
• tied_params_map (Dict[int, Dict[torch.device, torch.Tensor]], optional, デフォルトは None) — 現在のデータポインタから、デバイスごとにディスパッチ済みの共有重みの辞書へのマップです。特定の実行デバイスに対して、このパラメータは、メモリを重複させる代わりに、そのデバイス上の共有重みの最初の利用可能なポインタを他のすべての重みで再利用するために役立ちます。
• non_blocking (bool、省略可能、デフォルトは False) — True の場合、可能な限り、デバイスへの転送はホストに対して非同期になります。
• clear_cache (bool、任意、デフォルトはTrue) — テンソルをデバイスに設定した後に、デバイスキャッシュをクリアするかどうかを指定します。

パラメータ

• model (torch.nn.Module) — 子を取得する対象のモデル

パラメータ

• model (torch.nn.Module) — 抽出するモデル。
• keep_fp32_wrapper (bool、省略可) — モデルから混合精度フックを削除するかどうかを指定します。
• keep_torch_compile (bool、省略可) — コンパイル済みモデルをアンラップするかどうか。
• recursive (bool、省略可、デフォルトはFalse) — トップレベルの分散コンテナだけでなく、modelからmodule.moduleのすべてのケースを再帰的に抽出し、子サブレイヤーも再帰的にアンラップするかどうか。

パラメータ

• obj — 保存するデータ
• f — データを保存するために使用するファイル（またはファイルライクオブジェクト）
• save_on_each_node (bool、省略可、デフォルトはFalse) — グローバルメインプロセスでのみ保存するかどうか
• safe_serialization (bool、省略可能、デフォルトはFalse) — objをsafetensorsで保存するか、従来のPyTorchの方式（pickleを使用）で保存するかどうかを指定します。

パラメータ

• f — データをロードするために使用するファイル（またはファイルライクオブジェクト）
• map_location — ストレージのロケーションをどのように再マッピングするかを指定する関数、torch.device、文字列、または辞書
• **kwargs — torch.load()に渡す追加のキーワード引数。

パラメータ

• seed (int) — 設定するシード。
• device_specific (bool、任意、デフォルトは False) — self.process_index を用いて、各デバイスでシードをわずかに変えるかどうか。
• deterministic (bool、任意、デフォルトはFalse) — 利用可能な場合に決定論的アルゴリズムを使用するかどうか。トレーニングが遅くなる可能性があります。

パラメータ

• upgrade (bool、省略可能、デフォルトはFalse) — torchをアップグレードし、最新のtorch_xlaのホイールをインストールするかどうか。

パラメータ

• model (torch.nn.Module) — チェックポイントを読み込みたいモデル。
• checkpoint (str または os.PathLike) — 読み込むフォルダのチェックポイントです。以下の場合があります:
  • モデル全体の state dict を含むファイルへのパス
  • シャード化されたチェックポイントのインデックスを含む.jsonファイルへのパス
  • 一意の.index.jsonファイルとチェックポイントのシャードを含むフォルダへのパス。
  • 一意のpytorch_model.binまたはmodel.safetensorsファイルを含むフォルダへのパス。
• device_map (Dict[str, Union[int, str, torch.device]], 省略可) — 各サブモジュールをどのデバイスに配置するかを指定するマップです。パラメータやバッファの名前まで細かく指定する必要はなく、特定のモジュール名が指定されると、そのモジュールのすべてのサブモジュールが同じデバイスに送信されます。
• offload_folder (str または os.PathLike、省略可) — device_map に "disk" という値が含まれている場合、重みをオフロードするフォルダ。
• dtype (str または torch.dtype、省略可) — 指定された場合、読み込み時に重みがその型に変換されます。
• offload_state_dict (bool、省略可、デフォルトはFalse) — Trueの場合、CPU state dictの重みと最大のシャードの合計がCPU RAMに収まらない場合に、CPU RAM不足を回避するため、CPU state dictを一時的にハードドライブにオフロードします。
• offload_buffers (bool、任意、デフォルトはFalse) — ディスクにオフロードされる重みにバッファを含めるかどうかを指定します。
• keep_in_fp32_modules(List[str], optional) — torch.float32 dtype で保持するモジュールのリスト。
• offload_8bit_bnb (bool, 省略可) — 8ビットモジュールのCPU/ディスクへのオフロードを有効にするかどうか。
• strict (bool、省略可、デフォルトはFalse) — チェックポイントのstate_dictのキーが、モデルのstate_dictのキーと厳密に一致することを強制するかどうか。
• full_state_dict (bool、省略可能、デフォルトはTrue) — Trueに設定すると、読み込まれた state_dict 内のすべてのテンソルが集約されます。読み込まれた state_dict には、ShardedTensor や DTensor は含まれません。
• broadcast_from_rank0 (False、任意、デフォルトは False) — このオプションが True の場合、分散 ProcessGroup が初期化されている必要があります。rank0 は完全な state_dict を受信し、state_dict 内のテンソルを 1 つずつ他の rank にブロードキャストします。他の rank はテンソルを受信し、モデル内のローカルシャードに応じてシャード化（該当する場合）します。

パラメータ

• model (torch.nn.Module) — 入力モデル。モデルは既に読み込まれているか、meta デバイス上に存在している可能性があります。
• bnb_quantization_config (BnbQuantizationConfig) — bitsandbytes の量子化パラメータ
• weights_location (str または os.PathLike) — 読み込むフォルダの weights_location です。以下の場合があります:
  • モデル全体の state dict を含むファイルへのパス
  • シャード化されたチェックポイントのインデックスを含む.jsonファイルへのパス
  • 一意の.index.jsonファイルとチェックポイントのシャードを含むフォルダへのパス。
  • 一意のpytorch_model.binファイルを含むフォルダへのパス。
• device_map (Dict[str, Union[int, str, torch.device]], 省略可) — 各サブモジュールをどのデバイスに配置するかを指定するマップです。パラメータやバッファの名前まで細かく指定する必要はなく、特定のモジュール名が指定されると、そのモジュールのすべてのサブモジュールが同じデバイスに送信されます。
• no_split_module_classes (List[str], 任意) — デバイス間で分割すべきでないレイヤーのクラス名のリストです（残差接続を持つレイヤーなど）。
• max_memory (Dict, 任意) — デバイス識別子から最大メモリ量への辞書です。未設定の場合は、利用可能な最大メモリがデフォルトとして使用されます。
• offload_folder (str または os.PathLike、省略可) — device_map に "disk" という値が含まれている場合、重みをオフロードするフォルダ。
• offload_state_dict (bool、省略可、デフォルトはFalse) — Trueの場合、CPU state dictの重みと最大のシャードの合計がCPU RAMに収まらない場合に、CPU RAM不足を回避するため、CPU state dictを一時的にハードドライブにオフロードします。