Transformers documentation

Mixtral

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

이 모델은 2024-01-08에 HF papers에 게시되었으며, 2023-12-11에 Hugging Face Transformers에 기여되었습니다.

Mixtral

개요

Mixtral-8x7B는 Albert Jiang, Alexandre Sablayrolles, Arthur Mensch, Chris Bamford, Devendra Singh Chaplot, Diego de las Casas, Florian Bressand, Gianna Lengyel, Guillaume Lample, Lélio Renard Lavaud, Lucile Saulnier, Marie-Anne Lachaux, Pierre Stock, Teven Le Scao, Thibaut Lavril, Thomas Wang, Timothée Lacroix, William El Sayed가 작성한 Mixtral of Experts 블로그 게시물에서 소개되었습니다.

블로그 포스트의 서론에는 다음과 같이 나와 있습니다:

오늘 팀은 오픈 웨이트를 갖춘 고품질 희소 전문가 혼합 모델(SMoE)인 Mixtral 8x7B을 출시하게 되어 자랑스럽습니다. Apache 2.0 라이선스로 제공되며, Mixtral은 대부분의 벤치마크에서 Llama 2 70B보다 뛰어난 성능을 보여주며 추론 속도는 6배 빠릅니다. 이는 관대 라이선스를 가진 오픈 웨이트 모델 중 가장 강력하며, 비용/성능 트레이드오프 측면에서도 전반적으로 가장 우수한 모델입니다. 특히, 대부분의 표준 벤치마크에서 GPT3.5와 동등하거나 더 나은 성능을 발휘합니다.

Mixtral-8x7B는 Mistral-7B에 이어 mistral.ai에서 출시한 두 번째 대규모 언어 모델(LLM)입니다.

아키텍처 세부 사항

Mixtral-8x7B는 다음과 같은 아키텍처 선택을 가진 decoder-only Transformer입니다:

Mixtral is a Mixture of Experts (MoE) model with 8 experts per MLP, with a total of 45 billion parameters. To learn more about mixture-of-experts, refer to the blog post.
모델의 파라미터 수가 450억 개에 달하지만, 단일 forward pass에 필요한 연산량은 140억 파라미터 모델과 동일합니다. 각 expert를 RAM에 로드해야 하기 때문에(70B급 RAM 요구 사항) hidden states의 각 토큰은 두 번씩 라우팅(top 2 routing)되며, 따라서 연산량(각 forward computation에서 필요한 연산)은 단순히 2 X sequence_length가 됩니다.

다음 구현 세부 사항은 Mistral AI의 첫 번째 모델인 Mistral-7B와 공유됩니다:

Sliding Window Attention - 8k 컨텍스트 길이와 고정된 캐시 크기로 학습되었으며, 이론적 주의 범위는 128K 토큰
GQA(Grouped Query Attention) - 더 빠른 추론과 더 작은 캐시 크기를 허용합니다.
Byte-fallback BPE tokenizer - ensures that characters are never mapped to out of vocabulary tokens.

자세한 내용은 릴리스 블로그 게시물을 참조하세요.

라이선스

Mixtral-8x7B는 Apache 2.0 라이선스 하에 공개됩니다.

사용 팁

Mistral 팀은 2개의 체크포인트를 출시했습니다:

인터넷 규모 데이터에서 다음 토큰을 예측하도록 사전 학습된 베이스 모델인 Mixtral-8x7B-v0.1
지시어 튜닝된 모델인 Mixtral-8x7B-Instruct-v0.1은 감독형 미세 조정(SFT)과 직접 선호 최적화(DPO)를 사용하여 채팅 용도로 최적화된 기본 모델입니다.

기본 모델은 다음과 같이 사용할 수 있습니다:

from transformers import AutoModelForCausalLM, AutoTokenizer


model = AutoModelForCausalLM.from_pretrained("mistralai/Mixtral-8x7B-v0.1", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("mistralai/Mixtral-8x7B-v0.1")

prompt = "My favourite condiment is"

model_inputs = tokenizer([prompt], return_tensors="pt").to(model.device)

generated_ids = model.generate(**model_inputs, max_new_tokens=100, do_sample=True)
tokenizer.batch_decode(generated_ids)[0]
"My favourite condiment is to ..."

지시 튜닝된 모델은 다음과 같이 사용할 수 있습니다:

from transformers import AutoModelForCausalLM, AutoTokenizer


model = AutoModelForCausalLM.from_pretrained("mistralai/Mixtral-8x7B-Instruct-v0.1", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("mistralai/Mixtral-8x7B-Instruct-v0.1")

messages = [
    {"role": "user", "content": "What is your favourite condiment?"},
    {"role": "assistant", "content": "Well, I'm quite partial to a good squeeze of fresh lemon juice. It adds just the right amount of zesty flavour to whatever I'm cooking up in the kitchen!"},
    {"role": "user", "content": "Do you have mayonnaise recipes?"}
]

model_inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to(model.device)

generated_ids = model.generate(model_inputs, max_new_tokens=100, do_sample=True)
tokenizer.batch_decode(generated_ids)[0]
"Mayonnaise can be made as follows: (...)"

위에서 볼 수 있듯이, 지시 튜닝된 모델은 입력이 올바른 형식으로 준비되도록 chat template을 적용해야 합니다.

Flash Attention을 사용하여 Mixtral의 속도 향상

위의 코드 스니펫은 최적화 기법 없이 추론을 수행하는 방법을 보여줍니다. 그러나 모델 내부에서 사용되는 어텐션 메커니즘의 더 빠른 구현인 Flash Attention을 활용하면 모델의 속도를 크게 높일 수 있습니다.

Flash Attention 2의 최신 버전을 설치하여 슬라이딩 윈도우 어텐션 기능을 포함하도록 하십시오.

pip install -U flash-attn --no-build-isolation

Flash-Attention 2와 호환되는 하드웨어를 갖추고 있는지 또한 확인하세요. flash attention 저장소의 공식 문서에서 더 자세히 알아볼 수 있습니다. 또한 모델을 반정밀(예: torch.float16)로 로드하는지 확인하세요.

Flash Attention-2를 사용하여 모델을 로드하고 실행하려면 아래 스니펫을 참조하세요:

from transformers import AutoModelForCausalLM, AutoTokenizer


model = AutoModelForCausalLM.from_pretrained("mistralai/Mixtral-8x7B-v0.1", attn_implementation="flash_attention_2", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("mistralai/Mixtral-8x7B-v0.1")

prompt = "My favourite condiment is"

model_inputs = tokenizer([prompt], return_tensors="pt").to(model.device)

generated_ids = model.generate(**model_inputs, max_new_tokens=100, do_sample=True)
tokenizer.batch_decode(generated_ids)[0]
"The expected output"

기대되는 속도 향상

아래는 mistralai/Mixtral-8x7B-v0.1 체크포인트를 사용한 transformers의 네이티브 구현과 Flash Attention 2 버전 모델 간의 순수 추론 시간을 비교한 예상 속도 향상 다이어그램입니다.

슬라이딩 윈도우 Attention

현재 구현은 슬라이딩 윈도우 어텐션 메커니즘과 메모리 효율적인 캐시 관리를 지원합니다. 슬라이딩 윈도우 어텐션을 사용하려면, 슬라이딩 윈도우 어텐션과 호환되는 flash-attn 버전(>=2.3.0)을 사용하고 있는지 확인하십시오.

Flash Attention-2 모델은 더 메모리 효율적인 캐시 슬라이싱 메커니즘을 사용합니다. Mistral 모델의 공식 구현에서 권장하는 롤링 캐시 메커니즘을 따라 캐시 크기를 고정(self.config.sliding_window)하고, padding_side="left"인 경우에만 배치 생성을 지원하며, 현재 토큰의 절대 위치를 사용하여 위치 임베딩을 계산합니다.

양자화를 사용하여 Mixtral 축소

Mixtral 모델은 450억 개의 파라미터를 가지므로, 각 파라미터가 2바이트로 저장되는 반정밀도(float16) 기준 약 90GB의 GPU RAM이 필요합니다. 그러나 quantization을 사용하면 모델 크기를 줄일 수 있습니다. 모델을 4비트(파라미터당 반 바이트)로 양자화하면 약 27GB의 RAM만 필요하므로, 40GB RAM을 갖춘 단일 A100만으로 전체 모델을 수용할 수 있습니다.

모델을 양자화하는 방법은 모델에 quantization_config를 전달하는 것만으로 간단합니다. 아래에서는 bitsandbytes 양자화 라이브러리를 활용하지만, 다른 양자화 방법은 이 페이지를 참고하세요:

from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig


# specify how to quantize the model
quantization_config = BitsAndBytesConfig(
        load_in_4bit=True,
        bnb_4bit_quant_type="nf4",
        bnb_4bit_compute_dtype="torch.float16",
)

model = AutoModelForCausalLM.from_pretrained("mistralai/Mixtral-8x7B-Instruct-v0.1", quantization_config=True, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("mistralai/Mixtral-8x7B-Instruct-v0.1")

prompt = "My favourite condiment is"

messages = [
    {"role": "user", "content": "What is your favourite condiment?"},
    {"role": "assistant", "content": "Well, I'm quite partial to a good squeeze of fresh lemon juice. It adds just the right amount of zesty flavour to whatever I'm cooking up in the kitchen!"},
    {"role": "user", "content": "Do you have mayonnaise recipes?"}
]

model_inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to(model.device)

generated_ids = model.generate(model_inputs, max_new_tokens=100, do_sample=True)
tokenizer.batch_decode(generated_ids)[0]
"The expected output"

이 모델은 Younes Belkada와 Arthur Zucker가 기여했습니다. 원본 코드는 여기에서 찾을 수 있습니다.

리소스

Mixtral 시작을 돕기 위한 공식 Hugging Face 및 커뮤니티(🌎로 표시) 리소스 목록입니다. 여기에 리소스를 추가하고 싶으시면 Pull Request를 열어 주시면 검토하겠습니다! 기존 리소스와 중복되지 않고 새로운 것을 보여주는 것이 이상적입니다.

Text Generation

Mixtral-8x7B의 supervised fine-tuning(SFT)을 수행하는 데모 노트북은 여기에서 확인할 수 있습니다. 🌎
PEFT를 사용하여 Mixtral-8x7B를 파인튜닝하는 방법에 대한 블로그 포스트입니다. 🌎
Hugging Face의 Alignment Handbook에는 Mistral-7B로 supervised fine-tuning(SFT)과 direct preference optimization을 수행하기 위한 스크립트와 레시피가 포함되어 있습니다. 여기에는 full fine-tuning, 단일 accelerator에서의 QLoRa, 그리고 multi-accelerator fine-tuning을 위한 스크립트가 모두 포함되어 있습니다.
인과적 언어 모델링 작업 가이드

Transformers

Mixtral

개요

아키텍처 세부 사항

라이선스

사용 팁

Flash Attention을 사용하여 Mixtral의 속도 향상

기대되는 속도 향상

슬라이딩 윈도우 Attention

양자화를 사용하여 Mixtral 축소

리소스

MixtralConfig

클래스 transformers.MixtralConfig

MistralCommonBackend

클래스 transformers.MistralCommonBackend

add_special_tokens

add_tokens

apply_chat_template

batch_decode

build_inputs_with_special_tokens

convert_added_tokens

create_token_type_ids_from_sequences

decode

encode

from_pretrained

get_chat_template

get_special_tokens_mask

get_vocab

num_special_tokens_to_add

prepare_for_model

save_chat_templates

save_pretrained

save_vocabulary

토큰화

truncate_sequences

MixtralModel

클래스 transformers.MixtralModel

forward

MixtralForCausalLM

클래스 transformers.MixtralForCausalLM

forward

MixtralForSequenceClassification

클래스 transformers.MixtralForSequenceClassification

forward

MixtralForTokenClassification

class transformers.MixtralForTokenClassification

forward

MixtralForQuestionAnswering

클래스 transformers.MixtralForQuestionAnswering

forward