Hugging Faceでのアダプターの使用

注: Adaptersはadapter-transformersライブラリに置き換えられ、モデルの重みについては完全に互換性があります。詳細はこちらを参照してください。

Adapters は、🤗 transformers 用のアドオンライブラリであり、アダプターやその他のパラメータ効率の高い手法を用いて、事前学習済み言語モデルを効率的にファインチューニングするためのものです。Adapters は、学習および推論時のアダプターモジュールの構成に関するさまざまな手法も提供しています。 詳細については、Adapters 論文をご覧ください。

Hub上のアダプターの探索

モデルページの左側でフィルタリングすることで、Adaptersモデルを見つけることができます。一部のアダプターモデルは、Adapter Hubのリポジトリにあります。両方のソースのモデルは、AdapterHubウェブサイトに集約されています。

インストール

始めるには、AdapterHubのインストールガイドを参照してください。また、pipを介した以下の1行のインストールも利用できます:

pip install adapters

既存のモデルを使用する

事前学習済みアダプタの読み込みに関する完全なガイドについては、公式ガイドをご参照ください。

簡潔にまとめると、完全なセットアップには3つのステップが必要です。

1. Load a base transformers model with the AutoAdapterModel class provided by Adapters.
2. load_adapter()メソッドを使用して、アダプターを読み込み、追加します。
3. active_adapters を使用してアダプターを有効化（推論用）するか、train_adapter() を使用して有効化し学習可能に設定（学習用）します。また、アダプターの組み合わせもあわせてご確認ください。

from adapters import AutoAdapterModel

# 1.
model = AutoAdapterModel.from_pretrained("FacebookAI/roberta-base")
# 2.
adapter_name = model.load_adapter("AdapterHub/roberta-base-pf-imdb")
# 3.
model.active_adapters = adapter_name
# or model.train_adapter(adapter_name)

list_adapters を使用して、すべてのアダプターモデルをプログラム的に検索することもできます。

from adapters import list_adapters

# source can be "ah" (AdapterHub), "hf" (hf.co) or None (for both, default)
adapter_infos = list_adapters(source="hf", model_name="FacebookAI/roberta-base")

特定のモデルの読み込み方法を確認するには、Use in Adapters をクリックしてください。動作するスニペットが表示され、モデルを読み込むことができます。

モデルの共有

Adaptersを使用してモデルを共有する方法に関する完全なガイドについては、公式ガイドをご参照ください。

アダプターを含むモデルからpush_adapter_to_hubメソッドを使用することで、アダプターを共有できます。

model.push_adapter_to_hub(
    "my-awesome-adapter",
    "awesome_adapter",
    adapterhub_tag="sentiment/imdb",
    datasets_tag="imdb"
)

このコマンドは、自動生成されたモデルカードと必要なすべてのメタデータを含むリポジトリを作成します。

追加のリソース

• Adapters リポジトリ
• アダプター ドキュメント
• Adapters 論文
• Hubとの統合 ドキュメント