Hugging Face에서 어댑터 사용

참고: Adapters는 adapter-transformers 라이브러리를 대체하며, 모델 가중치 측면에서 완전히 호환됩니다. 자세한 내용은 여기를 참조하세요.

Adapters는 어댑터 및 기타 매개변수 효율적 방법을 사용하여 사전 학습된 언어 모델을 효율적으로 미세 조정하기 위한 🤗 transformers의 추가 라이브러리입니다. Adapters는 학습 및 추론 중에 어댑터 모듈을 구성하는 다양한 방법도 제공합니다. 이와 관련하여 Adapters 논문에서 자세히 알아볼 수 있습니다.

Hub에서 Adapters 탐색

모델 페이지 왼쪽에서 필터링하여 Adapters 모델을 찾을 수 있습니다. 일부 어댑터 모델은 Adapter Hub 저장소에서 찾을 수 있습니다. 두 출처의 모델은 AdapterHub 웹사이트에 통합되어 있습니다.

설치

시작하려면 AdapterHub 설치 가이드를 참고할 수 있습니다. 또한 다음 한 줄 명령을 통해 pip로 설치할 수도 있습니다:

pip install adapters

기존 모델 사용

사전 학습된 어댑터 로딩에 대한 전체 가이드는 공식 가이드를 참고하시길 권장합니다.

간단히 요약하면, 전체 설정은 세 단계로 구성됩니다:

1. Adapters에서 제공하는 AutoAdapterModel 클래스를 사용하여 기본 transformers 모델을 로드합니다.
2. load_adapter() 메서드를 사용하여 어댑터를 로드하고 추가합니다.
3. active_adapters를 통해 어댑터를 활성화(추론용)하거나, train_adapter()를 통해 활성화하고 학습 가능 상태로 설정(학습용)합니다. 어댑터 구성도 함께 확인해 보세요.

from adapters import AutoAdapterModel

# 1.
model = AutoAdapterModel.from_pretrained("FacebookAI/roberta-base")
# 2.
adapter_name = model.load_adapter("AdapterHub/roberta-base-pf-imdb")
# 3.
model.active_adapters = adapter_name
# or model.train_adapter(adapter_name)

list_adapters를 사용하여 모든 어댑터 모델을 프로그래매틱으로 찾을 수도 있습니다:

from adapters import list_adapters

# source can be "ah" (AdapterHub), "hf" (hf.co) or None (for both, default)
adapter_infos = list_adapters(source="hf", model_name="FacebookAI/roberta-base")

특정 모델을 로드하는 방법을 확인하려면 Use in Adapters를 클릭하면 해당 모델을 로드할 수 있는 작동하는 스니펫이 제공됩니다.

모델 공유

Adapters를 사용하여 모델을 공유하는 방법에 대한 전체 가이드는 공식 가이드를 참고하시기 바랍니다.

이미 어댑터가 포함된 모델에서 push_adapter_to_hub 메서드를 사용하여 어댑터를 공유할 수 있습니다.

model.push_adapter_to_hub(
    "my-awesome-adapter",
    "awesome_adapter",
    adapterhub_tag="sentiment/imdb",
    datasets_tag="imdb"
)

이 명령은 자동으로 생성된 모델 카드와 모든 필요한 메타데이터를 포함하여 저장소를 생성합니다.

추가 리소스

• Adapters 저장소
• 어댑터 문서
• Adapters 논문
• Hub 문서와 통합