# Mixtral

## 개요

[Mixtral-8x7B](https://huggingface.co/papers/2401.04088)는 Albert Jiang, Alexandre Sablayrolles, Arthur Mensch, Chris Bamford, Devendra Singh Chaplot, Diego de las Casas, Florian Bressand, Gianna Lengyel, Guillaume Lample, Lélio Renard Lavaud, Lucile Saulnier, Marie-Anne Lachaux, Pierre Stock, Teven Le Scao, Thibaut Lavril, Thomas Wang, Timothée Lacroix, William El Sayed가 작성한 [Mixtral of Experts 블로그 게시물](https://mistral.ai/news/mixtral-of-experts/)에서 소개되었습니다.

블로그 포스트의 서론에는 다음과 같이 나와 있습니다:

*오늘 팀은 오픈 웨이트를 갖춘 고품질 희소 전문가 혼합 모델(SMoE)인 Mixtral 8x7B을 출시하게 되어 자랑스럽습니다. Apache 2.0 라이선스로 제공되며, Mixtral은 대부분의 벤치마크에서 Llama 2 70B보다 뛰어난 성능을 보여주며 추론 속도는 6배 빠릅니다. 이는 관대 라이선스를 가진 오픈 웨이트 모델 중 가장 강력하며, 비용/성능 트레이드오프 측면에서도 전반적으로 가장 우수한 모델입니다. 특히, 대부분의 표준 벤치마크에서 GPT3.5와 동등하거나 더 나은 성능을 발휘합니다.*

Mixtral-8x7B는 [Mistral-7B](mistral)에 이어 [mistral.ai](https://mistral.ai/)에서 출시한 두 번째 대규모 언어 모델(LLM)입니다.

### 아키텍처 세부 사항

Mixtral-8x7B는 다음과 같은 아키텍처 선택을 가진 decoder-only Transformer입니다:

- Mixtral is a Mixture of Experts (MoE) model with 8 experts per MLP, with a total of 45 billion parameters. To learn more about mixture-of-experts, refer to the [blog post](https://huggingface.co/blog/moe).
- 모델의 파라미터 수가 450억 개에 달하지만, 단일 forward pass에 필요한 연산량은 140억 파라미터 모델과 동일합니다. 각 expert를 RAM에 로드해야 하기 때문에(70B급 RAM 요구 사항) hidden states의 각 토큰은 두 번씩 라우팅(top 2 routing)되며, 따라서 연산량(각 forward computation에서 필요한 연산)은 단순히 2 X sequence_length가 됩니다.

다음 구현 세부 사항은 Mistral AI의 첫 번째 모델인 [Mistral-7B](mistral)와 공유됩니다:

- Sliding Window Attention - 8k 컨텍스트 길이와 고정된 캐시 크기로 학습되었으며, 이론적 주의 범위는 128K 토큰
- GQA (Grouped Query Attention) - 더 빠른 추론과 더 작은 캐시 크기를 허용합니다.
- Byte-fallback BPE tokenizer - ensures that characters are never mapped to out of vocabulary tokens.

자세한 내용은 [릴리스 블로그 게시물](https://mistral.ai/news/mixtral-of-experts/)을 참조하세요.

### 라이선스

`Mixtral-8x7B`는 Apache 2.0 라이선스 하에 공개됩니다.

## 사용 팁

Mistral 팀은 2개의 체크포인트를 출시했습니다:

- 인터넷 규모 데이터에서 다음 토큰을 예측하도록 사전 학습된 베이스 모델인 [Mixtral-8x7B-v0.1](https://huggingface.co/mistralai/Mixtral-8x7B-v0.1)
- 지시어 튜닝된 모델인 [Mixtral-8x7B-Instruct-v0.1](https://huggingface.co/mistralai/Mixtral-8x7B-Instruct-v0.1)은 감독형 미세 조정(SFT)과 직접 선호 최적화(DPO)를 사용하여 채팅 용도로 최적화된 기본 모델입니다.

기본 모델은 다음과 같이 사용할 수 있습니다:

```python
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("mistralai/Mixtral-8x7B-v0.1", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("mistralai/Mixtral-8x7B-v0.1")

prompt = "My favourite condiment is"

model_inputs = tokenizer([prompt], return_tensors="pt").to(model.device)

generated_ids = model.generate(**model_inputs, max_new_tokens=100, do_sample=True)
tokenizer.batch_decode(generated_ids)[0]
"My favourite condiment is to ..."
```

지시 튜닝된 모델은 다음과 같이 사용할 수 있습니다:

```python
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("mistralai/Mixtral-8x7B-Instruct-v0.1", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("mistralai/Mixtral-8x7B-Instruct-v0.1")

messages = [
    {"role": "user", "content": "What is your favourite condiment?"},
    {"role": "assistant", "content": "Well, I'm quite partial to a good squeeze of fresh lemon juice. It adds just the right amount of zesty flavour to whatever I'm cooking up in the kitchen!"},
    {"role": "user", "content": "Do you have mayonnaise recipes?"}
]

model_inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to(model.device)

generated_ids = model.generate(model_inputs, max_new_tokens=100, do_sample=True)
tokenizer.batch_decode(generated_ids)[0]
"Mayonnaise can be made as follows: (...)"
```

위에서 볼 수 있듯이, 지시 튜닝된 모델은 입력이 올바른 형식으로 준비되도록 [chat template](../chat_templating)을 적용해야 합니다.

## Flash Attention을 사용하여 Mixtral의 속도 향상

위의 코드 스니펫은 최적화 기법 없이 추론을 수행하는 방법을 보여줍니다. 그러나 모델 내부에서 사용되는 어텐션 메커니즘의 더 빠른 구현인 [Flash Attention](../kernel_doc/loading_kernels#attention-kernels)을 활용하면 모델의 속도를 크게 높일 수 있습니다.

Flash Attention 2의 최신 버전을 설치하여 슬라이딩 윈도우 어텐션 기능을 포함하도록 하십시오.

```bash
pip install -U flash-attn --no-build-isolation
```

Flash-Attention 2와 호환되는 하드웨어를 갖추고 있는지 또한 확인하세요. [flash attention 저장소](https://github.com/Dao-AILab/flash-attention)의 공식 문서에서 더 자세히 알아볼 수 있습니다. 또한 모델을 반정밀(예: `torch.float16`)로 로드하는지 확인하세요.

Flash Attention-2를 사용하여 모델을 로드하고 실행하려면 아래 스니펫을 참조하세요:

```python
from transformers import AutoModelForCausalLM, AutoTokenizer

model = AutoModelForCausalLM.from_pretrained("mistralai/Mixtral-8x7B-v0.1", attn_implementation="flash_attention_2", device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("mistralai/Mixtral-8x7B-v0.1")

prompt = "My favourite condiment is"

model_inputs = tokenizer([prompt], return_tensors="pt").to(model.device)

generated_ids = model.generate(**model_inputs, max_new_tokens=100, do_sample=True)
tokenizer.batch_decode(generated_ids)[0]
"The expected output"
```

### 기대되는 속도 향상

아래는 `mistralai/Mixtral-8x7B-v0.1` 체크포인트를 사용한 transformers의 네이티브 구현과 Flash Attention 2 버전 모델 간의 순수 추론 시간을 비교한 예상 속도 향상 다이어그램입니다.

### 슬라이딩 윈도우 Attention

현재 구현은 슬라이딩 윈도우 어텐션 메커니즘과 메모리 효율적인 캐시 관리를 지원합니다. 슬라이딩 윈도우 어텐션을 활성화하려면 슬라이딩 윈도우 어텐션과 호환되는 `flash-attn` 버전(`>=2.3.0`)을 사용하고 있는지 확인하십시오.

Flash Attention-2 모델은 더 메모리 효율적인 캐시 슬라이싱 메커니즘을 사용합니다. Mistral 모델의 공식 구현에서 권장하는 롤링 캐시 메커니즘을 따라 캐시 크기를 고정(`self.config.sliding_window`)하고, `padding_side="left"`인 경우에만 배치 생성을 지원하며, 현재 토큰의 절대 위치를 사용하여 위치 임베딩을 계산합니다.

## 양자화를 사용하여 Mixtral 축소

Mixtral 모델은 450억 개의 파라미터를 가지므로, 각 파라미터가 2바이트로 저장되는 반정밀도(float16) 기준 약 90GB의 GPU RAM이 필요합니다. 그러나 [quantization](../quantization/overview)을 사용하면 모델 크기를 줄일 수 있습니다. 모델을 4비트(파라미터당 반 바이트)로 양자화하면 약 27GB의 RAM만 필요하므로, 40GB RAM을 갖춘 단일 A100만으로 전체 모델을 수용할 수 있습니다.

모델을 양자화하는 것은 모델에 `quantization_config`를 전달하는 것만큼 간단합니다. 아래에서는 bitsandbytes 양자화 라이브러리를 활용하지만, 다른 양자화 방법은 [이 페이지](../quantization/overview)를 참고하세요:

```python
from transformers import AutoModelForCausalLM, AutoTokenizer, BitsAndBytesConfig

# specify how to quantize the model
quantization_config = BitsAndBytesConfig(
        load_in_4bit=True,
        bnb_4bit_quant_type="nf4",
        bnb_4bit_compute_dtype="torch.float16",
)

model = AutoModelForCausalLM.from_pretrained("mistralai/Mixtral-8x7B-Instruct-v0.1", quantization_config=True, device_map="auto")
tokenizer = AutoTokenizer.from_pretrained("mistralai/Mixtral-8x7B-Instruct-v0.1")

prompt = "My favourite condiment is"

messages = [
    {"role": "user", "content": "What is your favourite condiment?"},
    {"role": "assistant", "content": "Well, I'm quite partial to a good squeeze of fresh lemon juice. It adds just the right amount of zesty flavour to whatever I'm cooking up in the kitchen!"},
    {"role": "user", "content": "Do you have mayonnaise recipes?"}
]

model_inputs = tokenizer.apply_chat_template(messages, return_tensors="pt").to(model.device)

generated_ids = model.generate(model_inputs, max_new_tokens=100, do_sample=True)
tokenizer.batch_decode(generated_ids)[0]
"The expected output"
```

이 모델은 [Younes Belkada](https://huggingface.co/ybelkada)와 [Arthur Zucker](https://huggingface.co/ArthurZ)가 기여했습니다. 원본 코드는 [여기](https://github.com/mistralai/mistral-src)에서 찾을 수 있습니다.

## 리소스

Mixtral을 시작하는 데 도움이 되는 공식 Hugging Face 및 커뮤니티(🌎로 표시) 리소스 목록입니다. 여기에 포함할 리소스를 제출하고 싶으시면 Pull Request를 열어 주시면 검토하겠습니다! 리소스는 기존 리소스와 중복되는 것 대신에 새로운 것을 시연하는 것이 이상적입니다.

- Mixtral-8x7B의 supervised fine-tuning(SFT)을 수행하는 데모 노트북은 [여기](https://github.com/NielsRogge/Transformers-Tutorials/blob/master/Mistral/Supervised_fine_tuning_(SFT)_of_an_LLM_using_Hugging_Face_tooling.ipynb)에서 확인할 수 있습니다. 🌎
- PEFT를 사용하여 Mixtral-8x7B를 파인튜닝하는 방법에 대한 [블로그 포스트](https://medium.com/@prakharsaxena11111/finetuning-mixtral-7bx8-6071b0ebf114)입니다. 🌎
- Hugging Face의 [Alignment Handbook](https://github.com/huggingface/alignment-handbook)에는 Mistral-7B로 supervised fine-tuning(SFT)과 direct preference optimization을 수행하기 위한 스크립트와 레시피가 포함되어 있습니다. 여기에는 full fine-tuning, 단일 accelerator에서의 QLoRa, 그리고 multi-accelerator fine-tuning을 위한 스크립트가 모두 포함되어 있습니다.
- [인과적 언어 모델링 작업 가이드](../tasks/language_modeling)

## MixtralConfig[[transformers.MixtralConfig]]

#### transformers.MixtralConfig[[transformers.MixtralConfig]]

```python
transformers.MixtralConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, vocab_size: int = 32000, hidden_size: int = 4096, intermediate_size: int = 14336, num_hidden_layers: int = 32, num_attention_heads: int = 32, num_key_value_heads: int = 8, head_dim: int | None = None, hidden_act: str = 'silu', max_position_embeddings: int = 131072, initializer_range: float = 0.02, rms_norm_eps: float = 1e-05, use_cache: bool = True, pad_token_id: int | None = None, bos_token_id: int | None = 1, eos_token_id: int | list[int] | None = 2, tie_word_embeddings: bool = False, sliding_window: int | None = None, attention_dropout: float | int = 0.0, num_experts_per_tok: int = 2, num_local_experts: int = 8, output_router_logits: bool = False, router_aux_loss_coef: float = 0.001, router_jitter_noise: float = 0.0, rope_parameters: transformers.modeling_rope_utils.RopeParameters | dict | None = None)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/mixtral/configuration_mixtral.py#L25)

**매개변수:**

vocab_size (`int`, *선택 사항*, 기본값 `32000`) : 모델의 어휘 크기입니다. `input_ids`로 표현할 수 있는 서로 다른 토큰의 수를 정의합니다.

hidden_size (`int`, *선택 사항*, 기본값 `4096`) : 숨겨진 표현의 차원.

intermediate_size (`int`, *선택 사항*, 기본값 `14336`) : MLP 표현의 차원.

num_hidden_layers (`int`, *선택 사항*, 기본값 `32`) : Transformer decoder의 숨겨진 레이어 수.

num_attention_heads (`int`, *선택 사항*, 기본값 `32`) : Transformer decoder의 각 attention layer에 사용할 attention head 수입니다.

num_key_value_heads (`int`, *선택 사항*, 기본값 `8`) : Grouped Query Attention 구현에 사용할 key_value 헤드 수입니다. `num_key_value_heads=num_attention_heads`인 경우 모델은 Multi Head Attention(MHA)을, `num_key_value_heads=1`인 경우 Multi Query Attention(MQA)을, 그 외에는 GQA를 사용합니다. 멀티 헤드 체크포인트를 GQA 체크포인트로 변환할 때, 각 그룹의 key 및 value 헤드는 해당 그룹 내 모든 원래 헤드를 meanpooling하여 구성해야 합니다. 자세한 내용은 [이 논문](https://huggingface.co/papers/2305.13245)을 참고하세요. 지정되지 않으면 `num_attention_heads`가 기본값으로 사용됩니다.

head_dim (`int`, *선택 사항*) : 어텐션 헤드 차원입니다. None인 경우, 기본값은 hidden_size // num_attention_heads입니다.

hidden_act (`str`, *선택 사항*, 기본값 `silu`) : 디코더에서 사용되는 비선형 활성화 함수(함수 또는 문자열). 예를 들어, `"gelu"`, `"relu"`, `"silu"` 등이 있습니다.

max_position_embeddings (`int`, *선택 사항*, 기본값 `131072`) : 이 모델이 사용될 수 있는 최대 시퀀스 길이입니다.

initializer_range (`float`, *선택 사항*, 기본값 `0.02`) : 모든 가중치 행렬을 초기화하는 truncated_normal_initializer의 표준 편차입니다.

rms_norm_eps (`float`, *선택 사항*, 기본값 `1e-05`) : rms normalization 레이어에서 사용되는 epsilon 값입니다.

use_cache (`bool`, *선택 사항*, 기본값 `True`) : 모델이 마지막 key/values attention을 반환할지 여부입니다(모든 모델에서 사용되지 않음). `config.is_decoder=True`인 경우 또는 모델이 decoder-only 생성 모델인 경우에만 관련이 있습니다.

pad_token_id (`int`, *선택 사항*) : 어휘에서 패딩에 사용되는 토큰 ID입니다.

bos_token_id (`int`, *선택 사항*, 기본값 `1`) : 어휘에서 스트림 시작에 사용되는 토큰 ID입니다.

eos_token_id (`Union[int, list[int]]`, *선택*, 기본값 `2`) : 어휘에서 스트림 종료에 사용되는 토큰 ID입니다.

tie_word_embeddings (`bool`, *선택 사항*, 기본값 `False`) : 모델의 `tied_weights_keys` 매핑에 따라 가중치 임베딩을 묶을지 여부.

sliding_window (`int`, *선택 사항*) : Sliding window attention의 윈도우 크기입니다. `None`인 경우 sliding window가 적용되지 않습니다.

attention_dropout (`Union[float, int]`, *선택 사항*, 기본값 `0.0`) : attention 확률에 적용할 dropout 비율입니다.

num_experts_per_tok (`int`, *선택 사항*, 기본값 `2`) : 각 토큰을 라우팅할 전문가의 수입니다. 이는 토큰 선택 라우팅의 top-k 값입니다.

num_local_experts (`int`, *선택 사항*, 기본값 `8`) : 각 디바이스당 로컬 전문가의 수. `num_experts`는 `num_local_experts`로 나누어떨어져야 합니다.

output_router_logits (`bool`, *선택 사항*, 기본값 `False`) : 모델이 router logits를 반환할지 여부입니다. 이 옵션을 활성화하면 load balancing loss와 router z-loss를 포함한 auxiliary loss도 모델에서 출력할 수 있습니다.

router_aux_loss_coef (`float`, *선택 사항*, 기본값 `0.001`) : 보조 로드 밸런싱 손실 계수입니다. MoE 모델에서 불균형한 전문가 라우팅을 처벌하는 데 사용됩니다.

router_jitter_noise (`float`, *선택 사항*, 기본값 `0.0`) : 학습 중 더 나은 로드 밸런싱을 위해 라우터 로짓에 추가할 노이즈의 양.

rope_parameters (`Union[~modeling_rope_utils.RopeParameters, dict]`, *선택*) : RoPE 임베딩의 구성 매개변수를 포함하는 사전입니다. 사전에는 `rope_theta` 값이 포함되어야 하며, 더 긴 `max_position_embeddings`로 RoPE를 사용하려는 경우 스케일링에 사용되는 매개변수도 선택적으로 포함할 수 있습니다.

이것은 MixtralModel의 구성을 저장하기 위한 구성 클래스입니다. 지정된 인자에 따라 Mixtral 모델을 인스턴스화하여 모델 아키텍처를 정의하는 데 사용됩니다. 기본값으로 구성을 인스턴스화하면 [mistralai/Mixtral-8x7B-v0.1](https://huggingface.co/mistralai/Mixtral-8x7B-v0.1)과 유사한 구성이 생성됩니다.

Configuration 객체는 [PreTrainedConfig](/docs/transformers/main/ko/main_classes/configuration#transformers.PreTrainedConfig)를 상속하며, 모델 출력을 제어하는 데 사용할 수 있습니다. 자세한 내용은 [PreTrainedConfig](/docs/transformers/main/ko/main_classes/configuration#transformers.PreTrainedConfig)의 문서를 참고하세요.

예:

```python
>>> from transformers import MixtralModel, MixtralConfig

>>> # Initializing a Mixtral 7B style configuration
>>> configuration = MixtralConfig()

>>> # Initializing a model from the Mixtral 7B style configuration
>>> model = MixtralModel(configuration)

>>> # Accessing the model configuration
>>> configuration = model.config
```

## MistralCommonBackend[[transformers.MistralCommonBackend]]

#### transformers.MistralCommonBackend[[transformers.MistralCommonBackend]]

```python
transformers.MistralCommonBackend(tokenizer_path: str | os.PathLike | pathlib.Path, mode: str | ValidationMode = 'test', model_max_length: int = 1000000000000000019884624838656, padding_side: str = 'left', truncation_side: str = 'right', model_input_names: list[str] | None = None, clean_up_tokenization_spaces: bool = False, **kwargs)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/tokenization_mistral_common.py#L194)

`mistral-common` 토크나이저를 래핑하는 클래스입니다.

`mistral-common`은 Mistral AI 모델의 공식 토크나이저 라이브러리입니다. 사용하려면 다음으로 설치해야 합니다:

```bash
pip install transformers[mistral-common]
```

그렇지 않으면 토크나이저는 Transformers의 토크나이저 구현으로 폴백됩니다.

`mistral-common`에 대한 자세한 내용은 [mistral-common](https://github.com/mistralai/mistral-common)을 참조하세요.

이 클래스는 `mistral_common.tokens.tokenizers.mistral.MistralTokenizer`를 감싸는 래퍼입니다. 공식 mistral-common 토크나이저를 사용하여 토큰화를 수행하는 Hugging Face 호환 인터페이스를 제공하며, `PreTrainedTokenizerBase` 클래스를 상속합니다.

`PythonBackend` 클래스와의 주요 동작 차이점은 다음과 같습니다:

- 시퀀스 쌍은 지원되지 않습니다. 호환성을 위해 시그니처는 유지되었지만, 시퀀스 쌍과 관련된 모든 인수는 무시됩니다. 쌍에 대한 반환 값은 `None`으로 반환됩니다.
- `is_split_into_words` 인자는 지원되지 않습니다.
- 토크나이저에 새로운 토큰을 추가할 수 없습니다. `mistral-common`에서는 특수 토큰이 Transformers와 다르게 처리됩니다. `mistral-common`에서 특수 토큰은 절대 직접 인코딩되지 않습니다. 즉, `tokenizer.encode("<s>")`은 `<s>` 토큰의 ID를 반환하지 않습니다. 대신, 문자열 `"<s>"`의 토크나이제이션에 해당하는 ID 목록을 반환합니다. 자세한 내용은 [mistral-common 문서](https://mistralai.github.io/mistral-common/usage/tokenizers/#special-tokens)를 참조하세요.

이 클래스를 개선할 제안이 있으시면, 토크나이저와 관련된 경우 [mistral-common GitHub 저장소](https://github.com/mistralai/mistral-common/issues)에, Hugging Face 인터페이스와 관련된 경우 [Transformers GitHub 저장소](https://github.com/huggingface/transformers/issues)에 이슈를 열어 주세요.

#### add_special_tokens[[transformers.MistralCommonBackend.add_special_tokens]]

```python
add_special_tokens(special_tokens_dict: dict, replace_extra_special_tokens: bool = True)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/tokenization_mistral_common.py#L1679)

`MistralCommonBackend`는 설계상 `add_special_tokens`를 구현하지 않습니다.

이 동작이 구현되기를 원하신다면, `Transformers` 또는 `mistral-common` 저장소에서 이슈를 열어 요청해 주세요.

#### add_tokens[[transformers.MistralCommonBackend.add_tokens]]

```python
add_tokens(special_tokens_dict: dict, replace_extra_special_tokens: bool = True)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/tokenization_mistral_common.py#L1691)

`MistralCommonBackend`는 설계상 `add_special_tokens`를 구현하지 않습니다.

이 동작이 구현되기를 원하신다면, `Transformers` 또는 `mistral-common` 저장소에서 이슈를 열어 요청해 주세요.

#### apply_chat_template[[transformers.MistralCommonBackend.apply_chat_template]]

```python
apply_chat_template(conversation: list[dict[str, str]] | list[list[dict[str, str]]], tools: list[dict | collections.abc.Callable] | None = None, add_generation_prompt: bool = False, continue_final_message: bool = False, tokenize: bool = True, padding: bool | str | transformers.utils.generic.PaddingStrategy = False, truncation: bool = False, max_length: int | None = None, return_tensors: str | transformers.utils.generic.TensorType | None = None, return_dict: bool = True, reasoning_effort: ReasoningEffort | None = None, **kwargs)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/tokenization_mistral_common.py#L1038)

**매개변수:**

conversation (Union[List[Dict[str, str]], List[List[Dict[str, str]]]]) : "role" 및 "content" 키를 가진 딕셔너리의 목록으로, 지금까지의 채팅 히스토리를 나타냅니다.

tools (`List[Union[Dict, Callable]]`, *선택*) : 모델이 접근할 수 있는 도구(호출 가능한 함수) 목록입니다. 템플릿이 함수 호출을 지원하지 않으면 이 인수는 효과가 없습니다. 각 도구는 JSON Schema로 전달해야 하며, 도구의 이름, 설명 및 인자 유형을 지정합니다. 자세한 내용은 [채팅 템플릿 가이드](https://huggingface.co/docs/transformers/main/en/chat_templating#automated-function-conversion-for-tool-use)를 참조하세요.

add_generation_prompt (`bool`, *선택 사항*) : 이 인수는 `MistralCommonBackend`에 대해 아무 동작도 하지 않습니다. 그러나 API 일관성을 유지하기 위해 `continue_final_message`와 동시에 사용할 수 없습니다. 대화 중 하나라도 어시스턴트 메시지로 끝나면 오류가 발생합니다. 이러한 경우 대신 `continue_final_message`를 사용하세요.

continue_final_message (bool, *optional*) : 이 값이 설정되면 채팅은 마지막 메시지가 EOS 토큰 없이 열린 형태로 포맷팅됩니다. 모델은 새 메시지를 시작하는 대신 이 메시지를 계속 작성합니다. 이를 통해 모델 응답의 일부를 "prefill"할 수 있습니다. `add_generation_prompt`와 동시에 사용할 수 없습니다.

tokenize (`bool`, 기본값 `True`) : 출력을 토큰화할지 여부입니다. `False`인 경우 출력은 문자열이 됩니다.

padding (`bool`, `str` 또는 [PaddingStrategy](/docs/transformers/main/ko/internal/file_utils#transformers.utils.PaddingStrategy), *optional*, 기본값 `False`) : 반환되는 시퀀스에 패딩을 적용할 전략을 선택합니다(모델의 패딩 방향 및 패딩 인덱스에 따라). 선택지는 다음과 같습니다. - `True` 또는 `'longest'`: 배치 내 가장 긴 시퀀스 길이만큼 패딩을 적용합니다(단일 시퀀스만 제공된 경우 패딩을 적용하지 않음). - `'max_length'`: `max_length` 인수로 지정된 최대 길이만큼 패딩을 적용하거나, 해당 인수가 제공되지 않은 경우 모델이 허용하는 최대 입력 길이만큼 패딩을 적용합니다. - `False` 또는 `'do_not_pad'` (기본값): 패딩을 적용하지 않습니다(즉, 서로 다른 길이의 시퀀스로 구성된 배치로 출력할 수 있음).

truncation (`bool`, 기본값 `False`) : 최대 길이에 도달하면 시퀀스를 잘라낼지 여부입니다. tokenize가 `False`인 경우 효과가 없습니다.

max_length (`int`, *선택 사항*) : 패딩 또는 잘라내기(padding or truncation)에 사용할 최대 길이(토큰 단위). tokenize가 `False`인 경우 효과가 없습니다. 지정하지 않으면 토크나이저의 `max_length` 속성이 기본값으로 사용됩니다.

return_tensors (`str` 또는 [TensorType](/docs/transformers/main/ko/internal/file_utils#transformers.TensorType), *optional*) : 설정된 경우, 특정 프레임워크의 텐서를 반환합니다. tokenize가 `False`인 경우 효과가 없습니다. 허용되는 값은 다음과 같습니다: - `'pt'`: PyTorch `torch.Tensor` 객체를 반환합니다.

return_dict (`bool`, 기본값 `False`) : 이름이 지정된 출력이 포함된 딕셔너리를 반환할지 여부입니다. tokenize가 `False`인 경우 효과가 없습니다. 대화 중 하나 이상이 이미지를 포함하는 경우, 해당 이미지의 픽셀 값은 `pixel_values` 키에, 이미지 크기는 `image_sizes` 키에 반환됩니다.

reasoning_effort (`ReasoningEffort`, *선택 사항*) : 추론을 지원하는 모델의 채팅 완료에 사용할 추론 노력 수준입니다. 가능한 값은 다음과 같습니다: - `ReasoningEffort.none`: 모델이 추론하지 않습니다. - `ReasoningEffort.high`: 모델이 추론 방식을 사용합니다. 지정하지 않으면 기본 추론 노력 수준이 사용됩니다.

kwargs (추가 키워드 인자, *선택 사항*) : mistral-common의 `ChatCompletionRequest.from_openai` 메서드에 전달되는 추가 인자입니다.

**반환값:** `Union[str, list[int], list[str], list[list[int]], BatchEncoding]`

지금까지의 토큰화된 채팅, 제어 토큰 포함. 이 출력은 `generate()`와 같은 메서드를 통해 또는 직접 모델에 전달할 수 있는 상태입니다.

`"role"`와 `"content"` 키를 가진 사전 목록을 토큰 ID 목록으로 변환합니다.

#### batch_decode[[transformers.MistralCommonBackend.batch_decode]]

```python
batch_decode(sequences: typing.Union[list[int], list[list[int]], numpy.ndarray, ForwardRef('torch.Tensor')], skip_special_tokens: bool = False, clean_up_tokenization_spaces: bool | None = None, **kwargs)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/tokenization_mistral_common.py#L512)

**매개변수:**

sequences (`Union[list[int], list[list[int]], np.ndarray, torch.Tensor]`) : 토큰화된 입력 ID 목록. `__call__` 메서드를 사용하여 얻을 수 있습니다.

skip_special_tokens (`bool`, *선택 사항*, 기본값 `False`) : 디코딩 시 특수 토큰을 제거할지 여부.

clean_up_tokenization_spaces (`bool`, *선택 사항*) : 토큰화 공백을 정리할지 여부입니다. `None`인 경우 기본값으로 `self.clean_up_tokenization_spaces`를 사용합니다.

kwargs (추가 키워드 인수, *선택 사항*) : `MistralCommonBackend.batch_decode`에서 지원하지 않습니다. 사용 시 오류가 발생합니다.

**반환값:** `list[str]`

디코딩된 문장의 목록입니다.

decode를 호출하여 토큰 ID의 리스트로 된 리스트를 문자열의 리스트로 변환합니다.

이 메서드는 하위 호환성을 위해 제공됩니다. `decode` 메서드가 이제 배치 입력을 네이티브로 처리하므로 `batch_decode` 대신 `decode`를 직접 사용할 수 있습니다.

#### build_inputs_with_special_tokens[[transformers.MistralCommonBackend.build_inputs_with_special_tokens]]

```python
build_inputs_with_special_tokens(token_ids_0: list, token_ids_1: None = None)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/tokenization_mistral_common.py#L1284)

**매개변수:**

token_ids_0 (`list[int]`) : 특수 토큰이 추가될 ID 목록.

token_ids_1 (`None`, *선택 사항*) : Transformers의 시그니처와 일치하도록 유지되는 None입니다.

**반환값:** `list[int]`

적절한 특수 토큰이 포함된 입력 ID 목록.

특수 토큰을 추가하여 시퀀스에서 모델 입력을 구성합니다.

이 메서드는 토크나이저의 `mode`에 따라 입력을 동적으로 구성합니다:
- `"test"`: seq0 [EOS]
- `"finetuning"`: [BOS] seq0

#### convert_added_tokens[[transformers.MistralCommonBackend.convert_added_tokens]]

```python
convert_added_tokens(obj: tokenizers.AddedToken | typing.Any, save: bool = False, add_type_field: bool = True)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/tokenization_mistral_common.py#L1704)

`MistralCommonBackend`는 설계상 `convert_added_tokens`를 구현하지 않습니다.

이 동작이 구현되기를 원하신다면, `Transformers` 또는 `mistral-common` 저장소에서 이슈를 열어 요청해 주세요.

#### 시퀀스에서 토큰 타입 ID 생성[[transformers.MistralCommonBackend.create_token_type_ids_from_sequences]]

```python
create_token_type_ids_from_sequences(token_ids_0: list, token_ids_1: None = None)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/tokenization_mistral_common.py#L1313)

**매개변수:**

token_ids_0 (`list[int]`) : ID 목록.

token_ids_1 (`None`, *선택 사항*) : Transformers의 시그니처와 일치하도록 유지되는 None입니다.

**반환값:** `list[int]`

구성된 패턴에 따른 토큰 유형 ID입니다.

special tokens가 추가된 토큰 ID에서 0으로 구성된 마스크를 생성합니다.

Transformers의 구현과 일치하도록 유지되었습니다.

#### decode[[transformers.MistralCommonBackend.decode]]

```python
decode(token_ids: typing.Union[int, list[int], list[list[int]], numpy.ndarray, ForwardRef('torch.Tensor')], skip_special_tokens: bool = False, clean_up_tokenization_spaces: bool | None = None, **kwargs)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/tokenization_mistral_common.py#L475)

**매개변수:**

token_ids (`Union[int, list[int], list[list[int]], np.ndarray, torch.Tensor]`) : 토큰화된 입력 id의 단일 시퀀스 또는 배치(시퀀스 목록). `__call__` 메서드를 사용하여 얻을 수 있습니다.

skip_special_tokens (`bool`, *선택 사항*, 기본값 `False`) : 디코딩 시 특수 토큰을 제거할지 여부.

clean_up_tokenization_spaces (`bool`, *선택 사항*) : 토큰화 공백을 정리할지 여부입니다. `None`인 경우 기본값으로 `self.clean_up_tokenization_spaces`를 사용합니다.

kwargs (추가 키워드 인수, *선택 사항*) : `MistralCommonBackend.decode`에서 지원하지 않습니다. 사용 시 오류가 발생합니다.

**반환값:** `Union[str, list[str]]`

단일 시퀀스에 대한 디코딩된 문자열, 또는 시퀀스 배치에 대한 디코딩된 문자열 목록.

토크나이저와 어휘를 사용하여 문자열의 id 시퀀스를 변환하며, 특수 토큰 제거 및 토크나이제이션 공간 정리 옵션을 제공합니다.

#### encode[[transformers.MistralCommonBackend.encode]]

```python
encode(text: str | list[int], text_pair: None = None, add_special_tokens: bool = True, padding: bool | str | transformers.utils.generic.PaddingStrategy = False, truncation: bool | str | transformers.tokenization_utils_base.TruncationStrategy | None = None, max_length: int | None = None, stride: int = 0, pad_to_multiple_of: int | None = None, padding_side: str | None = None, return_tensors: str | transformers.utils.generic.TensorType | None = None, verbose: bool = True, return_offsets_mapping: typing.Literal[False] = False, split_special_tokens: typing.Literal[False] = False, **kwargs)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/tokenization_mistral_common.py#L378)

**매개변수:**

text (`str` 또는 `list[int]`) : 인코딩할 첫 번째 시퀀스입니다. 이는 문자열 또는 정수 목록(토큰화된 문자열 ID)일 수 있습니다.

text_pair (`None`, *선택 사항*) : `MistralCommonBackend.encode`에서 지원하지 않습니다. `PreTrainedTokenizerBase.encode`의 시그니처와 일치하도록 유지되었습니다.

add_special_tokens (`bool`, *선택 사항*, 기본값 `True`) : 시퀀스를 인코딩할 때 특수 토큰을 추가할지 여부입니다. 이는 입력 ID에 자동으로 추가되는 토큰을 정의하는 기반 `PretrainedTokenizerBase.build_inputs_with_special_tokens` 함수를 사용합니다. `bos` 또는 `eos` 토큰을 자동으로 추가하려는 경우 유용합니다. Tokenizer가 `finetuning` 모드로 로드되면 `bos`와 `eos`를 모두 추가합니다. 그렇지 않고 "test" 모드인 경우 `bos`만 추가합니다.

padding (`bool`, `str` 또는 [PaddingStrategy](/docs/transformers/main/ko/internal/file_utils#transformers.utils.PaddingStrategy), *optional*, 기본값 `False`) : 패딩을 활성화하고 제어합니다. 다음 값을 허용합니다: - `True` 또는 `'longest'`: 배치 내 가장 긴 시퀀스 길이로 패딩합니다(단일 시퀀스만 제공된 경우 패딩하지 않음). - `'max_length'`: `max_length` 인수로 지정된 최대 길이로 패딩하거나, 해당 인수가 제공되지 않으면 모델이 허용하는 최대 입력 길이로 패딩합니다. - `False` 또는 `'do_not_pad'` (기본값): 패딩하지 않음(즉, 서로 다른 길이의 시퀀스를 가진 배치를 출력할 수 있음).

truncation (`bool`, `str` 또는 [TruncationStrategy](/docs/transformers/main/ko/internal/tokenization_utils#transformers.tokenization_utils_base.TruncationStrategy), *optional*, 기본값 `False`) : 잘라내기(truncation)를 활성화하고 제어합니다. 다음 값을 허용합니다: - `True` 또는 `'longest_first'`: `max_length` 인수로 지정된 최대 길이로 잘라내거나, 해당 인수가 제공되지 않으면 모델이 허용하는 최대 입력 길이로 잘라냅니다. - `False` 또는 `'do_not_truncate'` (기본값): 잘라내지 않습니다(즉, 모델의 최대 허용 입력 크기보다 긴 시퀀스 길이를 가진 배치로 출력할 수 있습니다).

max_length (`int`, *선택 사항*) : truncation/padding 매개변수 중 하나가 사용할 최대 길이를 제어합니다. 설정하지 않거나 `None`으로 설정한 경우, truncation/padding 매개변수 중 하나가 최대 길이를 요구하면 미리 정의된 모델 최대 길이를 사용합니다. 모델에 특정 최대 입력 길이가 없는 경우(XLNet 등) 최대 길이로 truncation/padding하는 기능이 비활성화됩니다.

stride (`int`, *선택 사항*, 기본값 0) : `max_length`와 함께 숫자로 설정하면, `return_overflowing_tokens=True`일 때 반환되는 오버플로 토큰에는 잘림된 시퀀스로 반환되는 시퀀스의 끝부분에서 가져온 일부 토큰이 포함되어 잘림된 시퀀스와 오버플로 시퀀스 사이에 일부 중복이 제공됩니다. 이 인수의 값은 중복되는 토큰의 수를 정의합니다.

pad_to_multiple_of (`int`, *선택 사항*) : 설정 시 시퀀스를 제공된 값의 배수로 패딩합니다. `padding`이 활성화되어 있어야 합니다. 이는 Volta에서 `>= 7.5`의 컴퓨트 캐퍼빌리티를 가진 NVIDIA 하드웨어에서 Tensor Cores 사용을 활성화하는 데 특히 유용합니다.

padding_side (`str`, *선택 사항*) : 모델에 패딩을 적용할 쪽입니다. ['right', 'left'] 중에서 선택해야 합니다. 기본값은 동일한 이름의 클래스 속성에서 가져옵니다.

return_tensors (`str` 또는 [TensorType](/docs/transformers/main/ko/internal/file_utils#transformers.TensorType), *optional*) : 설정된 경우, python 정수 목록 대신 텐서를 반환합니다. 허용되는 값은 다음과 같습니다:  - `'pt'`: PyTorch `torch.Tensor` 객체를 반환합니다.

- ****kwargs** : `MistralCommonBackend.encode`에서 지원하지 않습니다. 사용 시 오류가 발생합니다.

**반환값:** `list[int]`, `torch.Tensor`

텍스트의 토큰화 된 id입니다.

토크나이저와 어휘를 사용하여 문자열을 id(정수)의 시퀀스로 변환합니다.

#### from_pretrained[[transformers.MistralCommonBackend.from_pretrained]]

```python
from_pretrained(pretrained_model_name_or_path: str | os.PathLike, *init_inputs, mode: str | ValidationMode = 'test', cache_dir: str | os.PathLike | None = None, force_download: bool = False, local_files_only: bool = False, token: str | bool | None = None, revision: str = 'main', model_max_length: int = 1000000000000000019884624838656, padding_side: str = 'left', truncation_side: str = 'right', model_input_names: list[str] | None = None, clean_up_tokenization_spaces: bool = False, **kwargs)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/tokenization_mistral_common.py#L1437)

**매개변수:**

pretrained_model_name_or_path (`str` 또는 `os.PathLike`) : 다음 중 하나일 수 있습니다:  - huggingface.co의 모델 저장소에 호스팅된 사전 정의된 토크나이저의 *model id*인 문자열. - `MistralCommonBackend.tokenization_mistral_common.save_pretrained` 메서드를 사용하여 저장된 토크나이저 구성이 포함된 *디렉터리*의 경로, 예: `./my_model_directory/`.

mode (`Union[str, ValidationMode]`, *선택 사항*, 기본값은 `ValidationMode.test`) : `MistralTokenizer` 토크나이저의 검증 모드입니다. 가능한 값은 다음과 같습니다: - `"finetuning"` 또는 `ValidationMode.finetuning`: 파인튜닝 모드입니다. - `"test"` 또는 `ValidationMode.test`: 테스트 모드입니다. 이는 토크나이저가 입력을 검증하고 모델에 요청을 준비하는 방식을 변경합니다.

cache_dir (`str` 또는 `os.PathLike`, *선택 사항*) : 표준 캐시를 사용하지 않을 경우, 다운로드된 사전 정의된 토크나이저 어휘 파일이 캐시될 디렉터리의 경로입니다.

force_download (`bool`, *선택 사항*, 기본값 `False`) : 어휘 파일의 (재)다운로드를 강제하고, 캐시된 버전이 존재하는 경우 이를 덮어쓸지 여부.

token (`str` 또는 *bool*, *선택*) : 원격 파일에 대한 HTTP bearer 인증으로 사용할 토큰입니다. `True`인 경우, `hf auth login` 실행 시 생성된 토큰(`~/.huggingface`에 저장됨)을 사용합니다.

local_files_only (`bool`, *선택 사항*, 기본값 `False`) : 로컬 파일에만 의존하고 파일을 다운로드하지 않도록 할지 여부.

revision (`str`, *선택 사항*, 기본값 `"main"`) : 사용할 특정 모델 버전입니다. huggingface.co에서 모델 및 기타 아티팩트를 저장하기 위해 git 기반 시스템을 사용하므로, `revision`은 git에서 허용하는 모든 식별자, 즉 브랜치 이름, 태그 이름 또는 커밋 ID가 될 수 있습니다.

max_length (`int`, *선택 사항*) : truncation/padding 매개변수 중 하나가 사용할 최대 길이를 제어합니다. 설정하지 않거나 `None`으로 설정한 경우, truncation/padding 매개변수 중 하나가 최대 길이를 요구하면 미리 정의된 모델 최대 길이를 사용합니다. 모델에 특정 최대 입력 길이가 없는 경우(XLNet 등) 최대 길이로 truncation/padding하는 기능이 비활성화됩니다.

padding_side (`str`, *선택 사항*, 기본값 `"left"`) : 모델에 패딩을 적용할 쪽입니다. ['right', 'left'] 중에서 선택해야 합니다. 기본값은 동일한 이름의 클래스 속성에서 가져옵니다.

truncation_side (`str`, *선택 사항*, 기본값 `"right"`) : 모델에 잘림을 적용할 쪽입니다. ['right', 'left'] 중에서 선택해야 합니다.

model_input_names (`List[str]`, *선택 사항*) : 모델의 forward pass가 받는 입력 목록(예: `"token_type_ids"` 또는 `"attention_mask"`). 기본값은 동일한 이름의 클래스 속성에서 선택됩니다.

clean_up_tokenization_spaces (`bool`, *선택 사항*, 기본값 `False`) : 토큰화 과정에서 입력 텍스트를 분할할 때 추가된 공백을 모델이 정리할지 여부입니다.

kwargs (추가 키워드 인자, *선택 사항*) : `MistralCommonBackend.from_pretrained`에서 지원하지 않습니다. 사용 시 오류가 발생합니다.

`MistralCommonBackend`를 사전 정의된 토크나이저에서 인스턴스화합니다.

#### get_chat_template[[transformers.MistralCommonBackend.get_chat_template]]

```python
get_chat_template(chat_template: str | None = None, tools: list[dict] | None = None)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/tokenization_mistral_common.py#L1713)

`MistralCommonBackend`는 `mistral-common`이 채팅 템플릿을 사용하지 않기 때문에 `get_chat_template`을 구현하지 않도록 설계되어 있습니다.

#### get_special_tokens_mask[[transformers.MistralCommonBackend.get_special_tokens_mask]]

```python
get_special_tokens_mask(token_ids_0: list, token_ids_1: None = None, already_has_special_tokens: bool = False)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/tokenization_mistral_common.py#L691)

**매개변수:**

token_ids_0 (`list[int]`) : 시퀀스의 id 목록.

token_ids_1 (`None`, *선택 사항*) : Transformers의 구현과 일치하도록 유지되는 None입니다.

already_has_special_tokens (`bool`, *선택 사항*, 기본값 `False`) : 토큰 목록이 이미 모델의 특수 토큰으로 포맷되어 있는지 여부.

**반환값:** [0, 1] 범위의 정수 목록

특수 토큰은 1, 시퀀스 토큰은 0입니다.

특별 토큰이 추가되지 않은 토큰 목록에서 시퀀스 ID를 가져옵니다. 이 메서드는 토크나이저의 `prepare_for_model` 또는 `encode_plus` 메서드를 사용하여 특별 토큰을 추가할 때 호출됩니다.

#### get_vocab[[transformers.MistralCommonBackend.get_vocab]]

```python
get_vocab()
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/tokenization_mistral_common.py#L352)

**반환값:** `Dict[str, int]`

어휘

토큰에서 인덱스로 매핑된 사전 형식으로 어휘를 반환합니다.

이것은 손실 변환입니다. 부분적인 UTF-8 바이트 시퀀스가 �으로 변환되기 때문에, 동일한 문자열로 디코딩되는 여러 토큰 ID가 있을 수 있습니다.

#### num_special_tokens_to_add[[transformers.MistralCommonBackend.num_special_tokens_to_add]]

```python
num_special_tokens_to_add(pair: typing.Literal[False] = False)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/tokenization_mistral_common.py#L1337)

**매개변수:**

pair (`Literal[False]`, *선택*) : False, Transformer의 시그니처와 일치하도록 유지됩니다.

**반환값:** `int`

시퀀스에 추가되는 특수 토큰의 수.

특수 토큰을 사용하여 시퀀스를 인코딩할 때 추가된 토큰의 수를 반환합니다.

이 코드는 더미 입력을 인코딩하고 추가된 토큰의 수를 확인하므로 효율적이지 않습니다. 학습 루프 안에 이 코드를 배치하지 마세요.

#### prepare_for_model[[transformers.MistralCommonBackend.prepare_for_model]]

```python
prepare_for_model(ids: list, pair_ids: None = None, add_special_tokens: bool = True, padding: bool | str | transformers.utils.generic.PaddingStrategy = False, truncation: bool | str | transformers.tokenization_utils_base.TruncationStrategy | None = None, max_length: int | None = None, stride: int = 0, pad_to_multiple_of: int | None = None, padding_side: str | None = None, return_tensors: str | transformers.utils.generic.TensorType | None = None, return_token_type_ids: bool | None = None, return_attention_mask: bool | None = None, return_overflowing_tokens: bool = False, return_special_tokens_mask: bool = False, return_length: bool = False, verbose: bool = True, prepend_batch_axis: bool = False, return_offsets_mapping: typing.Literal[False] = False, split_special_tokens: typing.Literal[False] = False, **kwargs)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/tokenization_mistral_common.py#L844)

**매개변수:**

ids (`list[int]`) : 첫 번째 시퀀스의 토큰화된 입력 ID.

pair_ids (`None`, *선택 사항*) : `MistralCommonBackend`에서 지원하지 않습니다. `PreTrainedTokenizerBase`의 인터페이스와 일치하도록 유지되었습니다.

add_special_tokens (`bool`, *선택 사항*, 기본값 `True`) : 시퀀스를 인코딩할 때 특수 토큰을 추가할지 여부입니다. 이는 입력 ID에 자동으로 추가되는 토큰을 정의하는 기반 `PretrainedTokenizerBase.build_inputs_with_special_tokens` 함수를 사용합니다. `bos` 또는 `eos` 토큰을 자동으로 추가하려는 경우 유용합니다. Tokenizer가 `finetuning` 모드로 로드되면 `bos`와 `eos`를 모두 추가합니다. 그렇지 않고 "test" 모드인 경우 `bos`만 추가합니다.

padding (`bool`, `str` 또는 [PaddingStrategy](/docs/transformers/main/ko/internal/file_utils#transformers.utils.PaddingStrategy), *optional*, 기본값 `False`) : 패딩을 활성화하고 제어합니다. 다음 값을 허용합니다: - `True` 또는 `'longest'`: 배치 내 가장 긴 시퀀스 길이로 패딩합니다(단일 시퀀스만 제공된 경우 패딩하지 않음). - `'max_length'`: `max_length` 인수로 지정된 최대 길이로 패딩하거나, 해당 인수가 제공되지 않으면 모델이 허용하는 최대 입력 길이로 패딩합니다. - `False` 또는 `'do_not_pad'` (기본값): 패딩하지 않음(즉, 서로 다른 길이의 시퀀스를 가진 배치를 출력할 수 있음).

truncation (`bool`, `str` 또는 [TruncationStrategy](/docs/transformers/main/ko/internal/tokenization_utils#transformers.tokenization_utils_base.TruncationStrategy), *optional*, 기본값 `False`) : 잘라내기(truncation)를 활성화하고 제어합니다. 다음 값을 허용합니다: - `True` 또는 `'longest_first'`: `max_length` 인수로 지정된 최대 길이로 잘라내거나, 해당 인수가 제공되지 않으면 모델이 허용하는 최대 입력 길이로 잘라냅니다. - `False` 또는 `'do_not_truncate'` (기본값): 잘라내지 않습니다(즉, 모델의 최대 허용 입력 크기보다 긴 시퀀스 길이를 가진 배치로 출력할 수 있습니다).

max_length (`int`, *선택 사항*) : truncation/padding 매개변수 중 하나가 사용할 최대 길이를 제어합니다. 설정하지 않거나 `None`으로 설정한 경우, truncation/padding 매개변수 중 하나가 최대 길이를 요구하면 미리 정의된 모델 최대 길이를 사용합니다. 모델에 특정 최대 입력 길이가 없는 경우(XLNet 등) 최대 길이로 truncation/padding하는 기능이 비활성화됩니다.

stride (`int`, *선택 사항*, 기본값 0) : `max_length`와 함께 숫자로 설정하면, `return_overflowing_tokens=True`일 때 반환되는 오버플로 토큰에는 잘림된 시퀀스로 반환되는 시퀀스의 끝부분에서 가져온 일부 토큰이 포함되어 잘림된 시퀀스와 오버플로 시퀀스 사이에 일부 중복이 제공됩니다. 이 인수의 값은 중복되는 토큰의 수를 정의합니다.

pad_to_multiple_of (`int`, *선택 사항*) : 설정 시 시퀀스를 제공된 값의 배수로 패딩합니다. `padding`이 활성화되어 있어야 합니다. 이는 Volta에서 `>= 7.5`의 컴퓨트 캐퍼빌리티를 가진 NVIDIA 하드웨어에서 Tensor Cores 사용을 활성화하는 데 특히 유용합니다.

padding_side (`str`, *선택 사항*) : 모델에 패딩을 적용할 쪽입니다. ['right', 'left'] 중에서 선택해야 합니다. 기본값은 동일한 이름의 클래스 속성에서 가져옵니다.

return_tensors (`str` 또는 [TensorType](/docs/transformers/main/ko/internal/file_utils#transformers.TensorType), *optional*) : 설정된 경우, python 정수 목록 대신 텐서를 반환합니다. 허용되는 값은 다음과 같습니다:  - `'pt'`: PyTorch `torch.Tensor` 객체를 반환합니다.

return_token_type_ids (`bool`, *선택 사항*) : 토큰 유형 ID를 반환할지 여부입니다. `MistralCommonBackend`의 경우 단일 시퀀스만 지원되므로 시퀀스 길이에 해당하는 0의 목록을 반환합니다. [토큰 유형 ID란 무엇인가요?](../glossary#token-type-ids)

return_attention_mask (`bool`, *선택 사항*) : attention mask를 반환할지 여부입니다. 기본값으로 두면, `return_outputs` 속성으로 정의된 해당 tokenizer의 기본값에 따라 attention mask를 반환합니다. [attention mask란 무엇인가요?](../glossary#attention-mask)

return_overflowing_tokens (`bool`, *선택 사항*, 기본값 `False`) : 넘친 토큰 시퀀스를 반환할지 여부입니다. 입력 ID의 시퀀스 쌍(또는 쌍의 배치)이 `truncation_strategy = longest_first` 또는 `True`와 함께 제공되면, 넘친 토큰을 반환하는 대신 오류가 발생합니다.

return_special_tokens_mask (`bool`, *선택 사항*, 기본값 `False`) : 특수 토큰 마스크 정보를 반환할지 여부.

return_length (`bool`, *선택 사항*, 기본값 `False`) : 인코딩된 입력의 길이를 반환할지 여부.

verbose (`bool`, *선택 사항*, 기본값 `True`) : 추가 정보와 경고를 출력할지 여부.

return_offsets_mapping (`Literal[False]`, *선택*) : False, Transformers의 시그니처와 일치하도록 유지됩니다.

split_special_tokens (`Literal[False]`, *선택*) : False, Transformers의 시그니처와 일치하도록 유지됩니다.

- ****kwargs** : `self.tokenize()` 메서드에 전달됩니다

**반환값:** [BatchEncoding](/docs/transformers/main/ko/main_classes/tokenizer#transformers.BatchEncoding)

다음 필드를 가진 [BatchEncoding](/docs/transformers/main/ko/main_classes/tokenizer#transformers.BatchEncoding):

- **input_ids** -- 모델에 입력할 토큰 ID 목록.

  [입력 ID란 무엇인가요?](../glossary#input-ids)

- **attention_mask** -- 모델이 어떤 토큰에 주의를 기울여야 하는지 지정하는 인덱스 목록(`return_attention_mask=True`인 경우 또는 `self.model_input_names`에 *"attention_mask"*가 포함된 경우).

  [어텐션 마스크란 무엇인가요?](../glossary#attention-mask)

- **overflowing_tokens** -- 넘친 토큰 시퀀스 목록(`max_length`이 지정되고 `return_overflowing_tokens=True`인 경우).
- **num_truncated_tokens** -- 잘림된 토큰의 개수(`max_length`가 지정되고 `return_overflowing_tokens=True`인 경우).
- **special_tokens_mask** -- 0과 1의 목록으로, 1은 추가된 특수 토큰을, 0은 일반 시퀀스 토큰을 나타냅니다(`add_special_tokens=True`이고 `return_special_tokens_mask=True`인 경우).
- **length** -- 입력의 길이 (`return_length=True`인 경우)

모델에서 사용할 수 있도록 입력 id 시퀀스를 준비합니다. 특수 토큰을 추가하고, 특수 토큰을 고려하여 시퀀스가 오버플로우되는 경우 이를 잘라내며, 오버플로우된 토큰에 대해 이동 창(사용자가 정의한 스트라이드)을 관리합니다.

#### save_chat_templates[[transformers.MistralCommonBackend.save_chat_templates]]

```python
save_chat_templates(save_directory: str | os.PathLike, tokenizer_config: dict, filename_prefix: str | None, save_jinja_files: bool)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/tokenization_mistral_common.py#L1718)

`MistralCommonBackend`는 `mistral-common`이 채팅 템플릿을 사용하지 않기 때문에, 설계상 `save_chat_templates`를 구현하지 않습니다.

#### save_pretrained[[transformers.MistralCommonBackend.save_pretrained]]

```python
save_pretrained(save_directory: str | os.PathLike | pathlib.Path, push_to_hub: bool = False, token: str | bool | None = None, commit_message: str | None = None, repo_id: str | None = None, private: bool | None = None, save_format: str | None = None, **kwargs)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/tokenization_mistral_common.py#L1552)

**매개변수:**

save_directory (`str | os.PathLike | Path`) : 토크나이저가 저장될 디렉터리.

push_to_hub (`bool`, *선택 사항*, 기본값 `False`) : 저장 후 HF Hub에 푸시합니다.

token (`str` 또는 `bool`, *선택 사항*) : Hub 인증을 위한 토큰.

commit_message (`str`, *선택 사항*) : push할 때 사용할 커밋 메시지입니다.

repo_id (`str`, *선택 사항*) : Hub 저장소 ID.

private (`bool`, *선택 사항*) : 저장소가 비공개인지 여부.

save_format (`str`, *선택 사항*) : 네이티브 tekken 형식으로 저장하려면 `"mistral"`, HuggingFace 형식으로 저장하려면 `"hf"`를 사용합니다. *None*은 원래 형식을 유지합니다.

kwargs (`dict`, *선택 사항*) : 지원되지 않음 — 오류가 발생합니다.

**반환값:** `tuple[str, ...]`

저장된 파일의 경로.

토크나이저의 전체 상태를 저장합니다.

`save_format`이 `"mistral"`인 경우(또는 tekken 토크나이저의 경우 *None*인 경우), 원래의 토크나이저 파일(예: `tekken.json`)이 *save_directory*에 기록됩니다. `save_format`이 `"hf"`인 경우, 대신 HF 형식 파일(`tokenizer.json` + `tokenizer_config.json`)이 생성됩니다.

#### save_vocabulary[[transformers.MistralCommonBackend.save_vocabulary]]

```python
save_vocabulary(save_directory: str, filename_prefix: str | None = None)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/tokenization_mistral_common.py#L1729)

`MistralCommonBackend`는 설계상 `save_vocabulary`를 구현하지 않습니다.

`mistral-common`는 하나의 토크나이저 파일로 구성되기 때문입니다. 어휘를 저장하려면 `save_pretrained` 메서드를 사용하는 것을 권장합니다.

#### tokenize[[transformers.MistralCommonBackend.tokenize]]

```python
tokenize(text: str, return_offsets_mapping: typing.Literal[False] = False, split_special_tokens: typing.Literal[False] = False, **kwargs)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/tokenization_mistral_common.py#L645)

**매개변수:**

text (`str`) : 인코딩할 시퀀스.

return_offsets_mapping (`Literal[False]`, *선택*) : False, Transformers의 시그니처와 일치하도록 유지됩니다.

split_special_tokens (`Literal[False]`, *선택*) : False, Transformers의 시그니처와 일치하도록 유지됩니다.

- ****kwargs** (추가 키워드 인자): `MistralCommonBackend.tokenize`에서 지원하지 않습니다. 사용 시 오류가 발생합니다.

**반환값:** `list[str]`

토큰 목록

토크나이저를 사용하여 문자열을 토큰 시퀀스로 변환합니다.

단어 기반 어휘의 경우 단위로, 서브워드 기반 어휘의 경우 서브단위로 분할합니다.

#### truncate_sequences[[transformers.MistralCommonBackend.truncate_sequences]]

```python
truncate_sequences(ids: list, pair_ids: None = None, num_tokens_to_remove: int = 0, truncation_strategy: str | transformers.tokenization_utils_base.TruncationStrategy = 'longest_first', stride: int = 0, **kwargs)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/tokenization_mistral_common.py#L974)

**매개변수:**

ids (`list[int]`) : 토큰화된 입력 ID. 문자열에서 `tokenize`와 `convert_tokens_to_ids` 메서드를 체이닝하여 얻을 수 있습니다.

pair_ids (`None`, *선택 사항*) : `MistralCommonBackend`에서 지원하지 않습니다. `PreTrainedTokenizerBase.truncate_sequences`의 시그니처와 일치하도록 유지되었습니다.

num_tokens_to_remove (`int`, *선택 사항*, 기본값 0) : truncation 전략을 사용하여 제거할 토큰 수.

truncation_strategy (`str` 또는 [TruncationStrategy](/docs/transformers/main/ko/internal/tokenization_utils#transformers.tokenization_utils_base.TruncationStrategy), *선택*, 기본값 `'longest_first'`) : 잘라내기(truncation)에 사용할 전략입니다. 다음 값 중 하나를 사용할 수 있습니다. - `'longest_first'`: `max_length` 인수로 지정된 최대 길이로 잘라내거나, 해당 인수가 제공되지 않으면 모델이 허용하는 최대 입력 길이로 잘라냅니다. - `'do_not_truncate'` (기본값): 잘라내지 않습니다. (즉, 모델이 허용하는 최대 입력 크기보다 긴 시퀀스 길이를 가진 배치로 출력할 수 있습니다.)

stride (`int`, *선택 사항*, 기본값 0) : 양의 정수로 설정하면, 반환되는 오버플로 토큰에 반환되는 메인 시퀀스의 일부 토큰이 포함됩니다. 이 인수의 값은 추가 토큰의 수를 정의합니다.

**반환값:** `Tuple[list[int], None, list[int]]`

잘린 `ids`와 넘친 토큰 목록입니다. Transformers의 시그니처와 일치하도록 `None`이 반환됩니다.

전략에 따라 시퀀스 쌍을 인플레이스로 잘라냅니다.

## MixtralModel[[transformers.MixtralModel]]

#### transformers.MixtralModel[[transformers.MixtralModel]]

```python
transformers.MixtralModel(config: MixtralConfig)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/mixtral/modeling_mixtral.py#L399)

**매개변수:**

config ([MixtralConfig](/docs/transformers/main/ko/model_doc/mixtral#transformers.MixtralConfig)) : 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 [from_pretrained()](/docs/transformers/main/ko/main_classes/model#transformers.PreTrainedModel.from_pretrained) 메서드를 확인하세요.

특정 헤드가 위에 없는 상태의 Mixtral 모델이 원시 hidden-states를 출력하는 형태입니다.

이 모델은 [PreTrainedModel](/docs/transformers/main/ko/main_classes/model#transformers.PreTrainedModel)에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대해서는 상위 클래스 문서를 확인하세요.

이 모델은 또한 PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법과 동작에 관한 모든 사항은 PyTorch 문서를 참조하세요.

#### forward[[transformers.MixtralModel.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, use_cache: bool | None = None, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/mixtral/modeling_mixtral.py#L416)

**매개변수:**

input_ids (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 어휘(input sequence tokens)의 인덱스입니다. 기본적으로 패딩은 무시됩니다. [AutoTokenizer](/docs/transformers/main/ko/model_doc/auto#transformers.AutoTokenizer)를 사용하여 인덱스를 얻을 수 있습니다. 자세한 내용은 [PreTrainedTokenizer.encode()](/docs/transformers/main/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) 및 [PreTrainedTokenizer.__call__()](/docs/transformers/main/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__)를 참조하세요. [입력 ID란 무엇인가요?](../glossary#input-ids)

attention_mask (`torch.Tensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 패딩 토큰 인덱스에 대한 attention을 수행하지 않도록 방지하는 마스크입니다. `[0, 1]`에서 선택된 마스크 값: - **마스크되지 않은** 토큰은 1, - **마스크된** 토큰은 0. [attention 마스크란?](../glossary#attention-mask)

position_ids (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 각 입력 시퀀스의 토큰 위치 인덱스입니다. `[0, config.n_positions - 1]` 범위에서 선택됩니다. [위치 ID란 무엇인가요?](../glossary#position-ids)

past_key_values (`~cache_utils.Cache`, *선택*) : 순차적 디코딩을 가속화할 수 있는 사전 계산된 hidden-states(셀프 어텐션 블록과 크로스 어텐션 블록의 key 및 value)입니다. 일반적으로 `use_cache=True` 또는 `config.use_cache=True`일 때 모델이 디코딩의 이전 단계에서 반환한 `past_key_values`로 구성됩니다. 입력으로 [Cache](/docs/transformers/main/ko/internal/generation_utils#transformers.Cache) 인스턴스만 허용되며, [kv cache 가이드](https://huggingface.co/docs/transformers/en/kv_cache)를 참조하세요. `past_key_values`가 전달되지 않으면 기본적으로 [DynamicCache](/docs/transformers/main/ko/internal/generation_utils#transformers.DynamicCache)가 초기화됩니다. 모델은 입력으로 제공된 것과 동일한 캐시 형식을 출력합니다. `past_key_values`를 사용하는 경우, 이 모델에 과거 key value 상태가 제공되지 않은 `input_ids`(처리되지 않은 항목)만 `(batch_size, unprocessed_length)` 형식으로 입력해야 하며, `(batch_size, sequence_length)` 형식의 모든 `input_ids`를 입력하지 않습니다.

inputs_embeds (`torch.Tensor`, shape `(batch_size, sequence_length, hidden_size)`, *선택 사항*) : `input_ids`를 전달하는 대신 임베디드 표현을 직접 전달할 수 있습니다. 이는 모델의 내부 임베딩 조회 행렬보다 `input_ids` 인덱스를 관련 벡터로 변환하는 방식에 대해 더 많은 제어가 필요한 경우 유용합니다.

use_cache (`bool`, *선택 사항*) : `True`로 설정하면 `past_key_values` 키 값 상태가 반환되며, 디코딩 속도를 높이는 데 사용할 수 있습니다(`past_key_values` 참조).

**반환값:** `MoeModelOutputWithPast` 또는 `tuple(torch.Tensor)`

구성([MixtralConfig](/docs/transformers/main/ko/model_doc/mixtral#transformers.MixtralConfig))과 입력에 따라 다양한 요소를 포함하는 `MoeModelOutputWithPast` 또는 `torch.Tensor`의 튜플(`return_dict=False`가 전달되거나 `config.return_dict=False`인 경우).

[MixtralModel](/docs/transformers/main/ko/model_doc/mixtral#transformers.MixtralModel)의 forward 메서드는 `__call__` 특수 메서드를 오버라이드합니다.

`Module` 인스턴스는 전처리 및 후처리 단계를 실행하는 것을 처리하지만, 이 함수는 해당 단계를 조용히 무시하므로, 순전파(forward pass) 레시피를 이 함수 내에서 정의해야 하더라도 이후에는 이 함수 대신 `Module` 인스턴스를 호출해야 합니다.

- **last_hidden_state** (`torch.Tensor`, shape `(batch_size, sequence_length, hidden_size)`) -- 모델의 마지막 레이어 출력에서 생성된 hidden-state 시퀀스입니다.
- **past_key_values** (`Cache`, *선택 사항*, `use_cache=True`가 전달되었거나 `config.use_cache=True`인 경우 반환됨) -- [Cache](/docs/transformers/main/ko/internal/generation_utils#transformers.Cache) 인스턴스입니다. 자세한 내용은 [kv cache 가이드](https://huggingface.co/docs/transformers/en/kv_cache)를 참조하세요.

  순차적 디코딩을 가속화하는 데 사용할 수 있는 사전 계산된 hidden-states(셀프 어텐션 블록의 key와 value, 그리고 `config.is_encoder_decoder=True`인 경우 크로스 어텐션 블록의 key와 value)를 포함합니다(입력 `past_key_values` 참조).
- **hidden_states** (`tuple(torch.Tensor)`, *선택 사항*, `output_hidden_states=True`가 전달되었거나 `config.output_hidden_states=True`인 경우 반환됨) -- `torch.Tensor`의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩 출력 1개 + 각 레이어의 출력 1개)로, 형태는 `(batch_size, sequence_length, hidden_size)`입니다.

  각 레이어의 출력에서 모델의 Hidden-states와 선택적 초기 임베딩 출력을 포함합니다.
- **attentions** (`tuple(torch.Tensor)`, *선택 사항*, `output_attentions=True`가 전달되었거나 `config.output_attentions=True`인 경우 반환됨) -- 각 레이어마다 하나씩 포함된 `torch.Tensor`의 튜플로, 모양은 `(batch_size, num_heads, sequence_length, sequence_length)`입니다.

  self-attention 헤드에서 가중 평균을 계산하는 데 사용되는 attention softmax 이후의 attention 가중치입니다.
- **router_logits** (`tuple(torch.Tensor)`, *선택 사항*, `output_router_probs=True`와 `config.add_router_probs=True`가 전달되었거나 `config.output_router_probs=True`인 경우 반환됨) -- 각 레이어마다 하나씩 포함된 `torch.Tensor`의 튜플로, 형태는 `(batch_size, sequence_length, num_experts)`입니다.

  MoE 라우터가 계산하는 softmax 적용 후의 원시 라우터 로짓(raw router logits)입니다. 이 값들은 Mixture of Experts 모델의 보조 손실을 계산하는 데 사용됩니다.

## MixtralForCausalLM[[transformers.MixtralForCausalLM]]

#### transformers.MixtralForCausalLM[[transformers.MixtralForCausalLM]]

```python
transformers.MixtralForCausalLM(config: MixtralConfig)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/mixtral/modeling_mixtral.py#L544)

**매개변수:**

config ([MixtralConfig](/docs/transformers/main/ko/model_doc/mixtral#transformers.MixtralConfig)) : 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 [from_pretrained()](/docs/transformers/main/ko/main_classes/model#transformers.PreTrainedModel.from_pretrained) 메서드를 확인하세요.

causal language modeling을 위한 Mixtral 모델.

이 모델은 [PreTrainedModel](/docs/transformers/main/ko/main_classes/model#transformers.PreTrainedModel)에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대해서는 상위 클래스 문서를 확인하세요.

이 모델은 또한 PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법과 동작에 관한 모든 사항은 PyTorch 문서를 참조하세요.

#### forward[[transformers.MixtralForCausalLM.forward]]

```python
forward(input_ids: typing.Optional[torch.LongTensor] = None, attention_mask: typing.Optional[torch.Tensor] = None, position_ids: typing.Optional[torch.LongTensor] = None, past_key_values: transformers.cache_utils.Cache | None = None, inputs_embeds: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.LongTensor] = None, use_cache: bool | None = None, output_router_logits: bool | None = None, logits_to_keep: typing.Union[int, torch.Tensor] = 0, **kwargs: *<class 'transformers.utils.generic.TransformersKwargs'>)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/mixtral/modeling_mixtral.py#L562)

**매개변수:**

input_ids (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 어휘(input sequence tokens)의 인덱스입니다. 기본적으로 패딩은 무시됩니다. [AutoTokenizer](/docs/transformers/main/ko/model_doc/auto#transformers.AutoTokenizer)를 사용하여 인덱스를 얻을 수 있습니다. 자세한 내용은 [PreTrainedTokenizer.encode()](/docs/transformers/main/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) 및 [PreTrainedTokenizer.__call__()](/docs/transformers/main/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__)를 참조하세요. [입력 ID란 무엇인가요?](../glossary#input-ids)

attention_mask (`torch.Tensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 패딩 토큰 인덱스에 대한 attention을 수행하지 않도록 방지하는 마스크입니다. `[0, 1]`에서 선택된 마스크 값: - **마스크되지 않은** 토큰은 1, - **마스크된** 토큰은 0. [attention 마스크란?](../glossary#attention-mask)

position_ids (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 각 입력 시퀀스의 토큰 위치 인덱스입니다. `[0, config.n_positions - 1]` 범위에서 선택됩니다. [위치 ID란 무엇인가요?](../glossary#position-ids)

past_key_values (`~cache_utils.Cache`, *선택*) : 순차적 디코딩을 가속화할 수 있는 사전 계산된 hidden-states(셀프 어텐션 블록과 크로스 어텐션 블록의 key 및 value)입니다. 일반적으로 `use_cache=True` 또는 `config.use_cache=True`일 때 모델이 디코딩의 이전 단계에서 반환한 `past_key_values`로 구성됩니다. 입력으로 [Cache](/docs/transformers/main/ko/internal/generation_utils#transformers.Cache) 인스턴스만 허용되며, [kv cache 가이드](https://huggingface.co/docs/transformers/en/kv_cache)를 참조하세요. `past_key_values`가 전달되지 않으면 기본적으로 [DynamicCache](/docs/transformers/main/ko/internal/generation_utils#transformers.DynamicCache)가 초기화됩니다. 모델은 입력으로 제공된 것과 동일한 캐시 형식을 출력합니다. `past_key_values`를 사용하는 경우, 이 모델에 과거 key value 상태가 제공되지 않은 `input_ids`(처리되지 않은 항목)만 `(batch_size, unprocessed_length)` 형식으로 입력해야 하며, `(batch_size, sequence_length)` 형식의 모든 `input_ids`를 입력하지 않습니다.

inputs_embeds (`torch.Tensor`, shape `(batch_size, sequence_length, hidden_size)`, *선택 사항*) : `input_ids`를 전달하는 대신 임베디드 표현을 직접 전달할 수 있습니다. 이는 모델의 내부 임베딩 조회 행렬보다 `input_ids` 인덱스를 관련 벡터로 변환하는 방식에 대해 더 많은 제어가 필요한 경우 유용합니다.

labels (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : masked language modeling loss를 계산하기 위한 라벨. 인덱스는 `[0, ..., config.vocab_size]` 범위 내이거나 -100이어야 합니다(`input_ids` docstring 참조). 인덱스가 `-100`으로 설정된 토큰은 무시(마스크)되며, loss는 `[0, ..., config.vocab_size]` 범위의 라벨을 가진 토큰에 대해서만 계산됩니다.

use_cache (`bool`, *선택 사항*) : `True`로 설정하면 `past_key_values` 키 값 상태가 반환되며, 디코딩 속도를 높이는 데 사용할 수 있습니다(`past_key_values` 참조).

output_router_logits (`bool`, *선택 사항*) : 모든 라우터의 logits를 반환할지 여부입니다. 라우터 손실을 계산하는 데 유용하며, 추론 단계에서는 반환하지 않아야 합니다.

logits_to_keep (`Union[int, torch.Tensor]`, *선택 사항*, 기본값 `0`) : `int`인 경우, 마지막 `logits_to_keep` 토큰에 대한 logits를 계산합니다. `0`인 경우, 모든 `input_ids`에 대한 logits를 계산합니다(특수한 경우). 생성에는 마지막 토큰의 logits만 필요하며, 해당 토큰에 대해서만 계산하면 메모리를 절약할 수 있습니다. 이는 긴 시퀀스나 큰 어휘 크기의 경우 상당한 이점을 제공합니다. `torch.Tensor`인 경우, 시퀀스 길이 차원에서 유지할 인덱스에 해당하는 1차원 텐서여야 합니다. 이는 packed tensor 형식(배치와 시퀀스 길이를 단일 차원으로 사용하는 경우)을 사용할 때 유용합니다.

**반환값:** `MoeCausalLMOutputWithPast` 또는 `tuple(torch.Tensor)`

`MoeCausalLMOutputWithPast` 또는 `torch.Tensor`의 튜플(`return_dict=False`가 전달되거나 `config.return_dict=False`인 경우)로, [MixtralConfig](/docs/transformers/main/ko/model_doc/mixtral#transformers.MixtralConfig) 및 입력에 따라 다양한 요소를 포함합니다.

[MixtralForCausalLM](/docs/transformers/main/ko/model_doc/mixtral#transformers.MixtralForCausalLM)의 forward 메서드는 `__call__` 특수 메서드를 오버라이드합니다.

`Module` 인스턴스는 전처리 및 후처리 단계를 실행하는 것을 처리하지만, 이 함수는 해당 단계를 조용히 무시하므로, 순전파(forward pass) 레시피를 이 함수 내에서 정의해야 하더라도 이후에는 이 함수 대신 `Module` 인스턴스를 호출해야 합니다.

- **loss** (`torch.Tensor`, shape `(1,)`, *선택 사항*, `labels`가 제공될 때 반환됨) -- 언어 모델링 손실(다음 토큰 예측용).
- **logits** (`torch.Tensor`, shape `(batch_size, sequence_length, config.vocab_size)`) -- 언어 모델링 헤드에서 생성된 예측 점수(SoftMax 적용 전 각 어휘 토큰에 대한 점수).
- **aux_loss** (`torch.Tensor`, *선택*, `output_router_logits=True`가 전달되었거나 `config.output_router_logits=True`인 경우, 그리고 모델이 로드 밸런싱 손실로 라우터를 학습하는 경우 반환됨) -- 희소 모듈에 대한 로드 밸런싱 보조 손실입니다. 라우터 바이어스로 전문가를 균형 맞추는 모델(DeepSeek-V3 및 이를 기반으로 파생된 아키텍처)은 `router_logits`를 반환하되, 여기서는 `None`을 반환합니다.
- **router_logits** (`tuple(torch.Tensor)`, *선택*, `output_router_logits=True`가 전달되었거나 `config.output_router_logits=True`인 경우 반환됨) -- `torch.Tensor`의 튜플(스파스 레이어마다 하나)로, shape는 `(batch_size * sequence_length, num_experts)`입니다.

  MoE 라우터가 계산한 원시 라우터 로짓입니다. 로드 밸런싱 손실을 계산하거나 토큰이 전문가로 어떻게 분배되는지 확인하는 데 사용할 수 있습니다.
- **past_key_values** (`Cache`, *선택 사항*, `use_cache=True`가 전달되었거나 `config.use_cache=True`인 경우 반환됨) -- [Cache](/docs/transformers/main/ko/internal/generation_utils#transformers.Cache) 인스턴스입니다. 자세한 내용은 [kv cache 가이드](https://huggingface.co/docs/transformers/en/kv_cache)를 참조하세요.

  순차적 디코딩을 가속화하는 데 사용할 수 있는 사전 계산된 hidden-states(셀프 어텐션 블록의 key와 value)를 포함합니다(입력 `past_key_values` 참조).
- **hidden_states** (`tuple(torch.Tensor)`, *선택 사항*, `output_hidden_states=True`가 전달되었거나 `config.output_hidden_states=True`인 경우 반환됨) -- `torch.Tensor`의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩 출력 1개 + 각 레이어의 출력 1개)로, 형태는 `(batch_size, sequence_length, hidden_size)`입니다.

  각 레이어의 출력에서 모델의 Hidden-states와 선택적 초기 임베딩 출력을 포함합니다.
- **attentions** (`tuple(torch.Tensor)`, *선택 사항*, `output_attentions=True`가 전달되었거나 `config.output_attentions=True`인 경우 반환됨) -- 각 레이어마다 하나씩 포함된 `torch.Tensor`의 튜플로, 모양은 `(batch_size, num_heads, sequence_length, sequence_length)`입니다.

  self-attention 헤드에서 가중 평균을 계산하는 데 사용되는 attention softmax 이후의 attention 가중치입니다.

예:

```python
>>> from transformers import AutoTokenizer, MixtralForCausalLM

>>> model = MixtralForCausalLM.from_pretrained("mistralai/Mixtral-8x7B-v0.1")
>>> tokenizer = AutoTokenizer.from_pretrained("mistralai/Mixtral-8x7B-v0.1")

>>> prompt = "Hey, are you conscious? Can you talk to me?"
>>> inputs = tokenizer(prompt, return_tensors="pt")

>>> # Generate
>>> generate_ids = model.generate(inputs.input_ids, max_length=30)
>>> tokenizer.batch_decode(generate_ids, skip_special_tokens=True, clean_up_tokenization_spaces=False)[0]
"Hey, are you conscious? Can you talk to me?\nI'm not conscious, but I can talk to you."
```

## MixtralForSequenceClassification[[transformers.MixtralForSequenceClassification]]

#### transformers.MixtralForSequenceClassification[[transformers.MixtralForSequenceClassification]]

```python
transformers.MixtralForSequenceClassification(config)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/mixtral/modeling_mixtral.py#L641)

#### forward[[transformers.MixtralForSequenceClassification.forward]]

```python
forward(input_ids: torch.LongTensor | None = None, attention_mask: torch.Tensor | None = None, position_ids: torch.LongTensor | None = None, past_key_values: Cache | None = None, inputs_embeds: torch.Tensor | None = None, labels: torch.LongTensor | None = None, use_cache: bool | None = None, **kwargs: Unpack[TransformersKwargs])
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/modeling_layers.py#L128)

**매개변수:**

input_ids (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 어휘(input sequence tokens)의 인덱스입니다. 기본적으로 패딩은 무시됩니다. [AutoTokenizer](/docs/transformers/main/ko/model_doc/auto#transformers.AutoTokenizer)를 사용하여 인덱스를 얻을 수 있습니다. 자세한 내용은 [PreTrainedTokenizer.encode()](/docs/transformers/main/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) 및 [PreTrainedTokenizer.__call__()](/docs/transformers/main/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__)를 참조하세요. [입력 ID란 무엇인가요?](../glossary#input-ids)

attention_mask (`torch.Tensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 패딩 토큰 인덱스에 대한 attention을 수행하지 않도록 방지하는 마스크입니다. `[0, 1]`에서 선택된 마스크 값: - **마스크되지 않은** 토큰은 1, - **마스크된** 토큰은 0. [attention 마스크란?](../glossary#attention-mask)

position_ids (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 각 입력 시퀀스의 토큰 위치 인덱스입니다. `[0, config.n_positions - 1]` 범위에서 선택됩니다. [위치 ID란 무엇인가요?](../glossary#position-ids)

past_key_values (`Cache`, *선택 사항*) : 순차적 디코딩을 가속화할 수 있는 사전 계산된 hidden-states(셀프 어텐션 블록과 크로스 어텐션 블록의 key 및 value)입니다. 일반적으로 `use_cache=True` 또는 `config.use_cache=True`일 때 모델이 이전 디코딩 단계에서 반환한 `past_key_values`로 구성됩니다. 입력으로 허용되는 것은 [Cache](/docs/transformers/main/ko/internal/generation_utils#transformers.Cache) 인스턴스뿐이며, [kv cache 가이드](https://huggingface.co/docs/transformers/en/kv_cache)를 참고하세요. `past_key_values`가 전달되지 않으면 기본적으로 [DynamicCache](/docs/transformers/main/ko/internal/generation_utils#transformers.DynamicCache)가 초기화됩니다. 모델은 입력으로 제공된 캐시 형식과 동일한 형식을 출력합니다. `past_key_values`를 사용하는 경우, 이 모델에 과거 key value 상태가 제공되지 않은 `input_ids`(처리되지 않은 토큰)만 `(batch_size, unprocessed_length)` 형식으로 입력해야 하며, `(batch_size, sequence_length)` 형식의 모든 `input_ids`를 입력하지 않습니다.

inputs_embeds (`torch.Tensor`, shape `(batch_size, sequence_length, hidden_size)`, *선택 사항*) : `input_ids`를 전달하는 대신 임베디드 표현을 직접 전달할 수 있습니다. 이는 모델의 내부 임베딩 조회 행렬보다 `input_ids` 인덱스를 관련 벡터로 변환하는 방식에 대해 더 많은 제어가 필요한 경우 유용합니다.

labels (`torch.LongTensor`, shape `(batch_size,)`, *선택 사항*) : 시퀀스 분류/회귀 손실을 계산하는 데 사용되는 라벨. 인덱스는 `[0, ..., config.num_labels - 1]` 범위에 있어야 합니다. `config.num_labels == 1`인 경우 회귀 손실(평균 제곱 오차)이 계산되고, `config.num_labels > 1`인 경우 분류 손실(교차 엔트로피)이 계산됩니다.

use_cache (`bool`, *선택 사항*) : `True`로 설정하면 `past_key_values` 키 값 상태가 반환되며, 디코딩 속도를 높이는 데 사용할 수 있습니다(`past_key_values` 참조).

**반환값:** `SequenceClassifierOutputWithPast`

`GenericForSequenceClassification`의 forward 메서드는 `__call__` 특수 메서드를 오버라이드합니다.

`Module` 인스턴스는 전처리 및 후처리 단계를 실행하는 것을 처리하지만, 이 함수는 해당 단계를 조용히 무시하므로, 순전파(forward pass) 레시피를 이 함수 내에서 정의해야 하더라도 이후에는 이 함수 대신 `Module` 인스턴스를 호출해야 합니다.

## MixtralForTokenClassification[[transformers.MixtralForTokenClassification]]

#### transformers.MixtralForTokenClassification[[transformers.MixtralForTokenClassification]]

```python
transformers.MixtralForTokenClassification(config)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/mixtral/modeling_mixtral.py#L645)

#### forward[[transformers.MixtralForTokenClassification.forward]]

```python
forward(input_ids: torch.LongTensor | None = None, attention_mask: torch.Tensor | None = None, position_ids: torch.LongTensor | None = None, past_key_values: Cache | None = None, inputs_embeds: torch.Tensor | None = None, labels: torch.LongTensor | None = None, use_cache: bool | None = None, **kwargs: Unpack[TransformersKwargs])
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/modeling_layers.py#L275)

**매개변수:**

input_ids (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 어휘(input sequence tokens)의 인덱스입니다. 기본적으로 패딩은 무시됩니다. [AutoTokenizer](/docs/transformers/main/ko/model_doc/auto#transformers.AutoTokenizer)를 사용하여 인덱스를 얻을 수 있습니다. 자세한 내용은 [PreTrainedTokenizer.encode()](/docs/transformers/main/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) 및 [PreTrainedTokenizer.__call__()](/docs/transformers/main/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__)를 참조하세요. [입력 ID란 무엇인가요?](../glossary#input-ids)

attention_mask (`torch.Tensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 패딩 토큰 인덱스에 대한 attention을 수행하지 않도록 방지하는 마스크입니다. `[0, 1]`에서 선택된 마스크 값: - **마스크되지 않은** 토큰은 1, - **마스크된** 토큰은 0. [attention 마스크란?](../glossary#attention-mask)

position_ids (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 각 입력 시퀀스의 토큰 위치 인덱스입니다. `[0, config.n_positions - 1]` 범위에서 선택됩니다. [위치 ID란 무엇인가요?](../glossary#position-ids)

past_key_values (`Cache`, *선택 사항*) : 순차적 디코딩을 가속화할 수 있는 사전 계산된 hidden-states(셀프 어텐션 블록과 크로스 어텐션 블록의 key 및 value)입니다. 일반적으로 `use_cache=True` 또는 `config.use_cache=True`일 때 모델이 이전 디코딩 단계에서 반환한 `past_key_values`로 구성됩니다. 입력으로 허용되는 것은 [Cache](/docs/transformers/main/ko/internal/generation_utils#transformers.Cache) 인스턴스뿐이며, [kv cache 가이드](https://huggingface.co/docs/transformers/en/kv_cache)를 참고하세요. `past_key_values`가 전달되지 않으면 기본적으로 [DynamicCache](/docs/transformers/main/ko/internal/generation_utils#transformers.DynamicCache)가 초기화됩니다. 모델은 입력으로 제공된 캐시 형식과 동일한 형식을 출력합니다. `past_key_values`를 사용하는 경우, 이 모델에 과거 key value 상태가 제공되지 않은 `input_ids`(처리되지 않은 토큰)만 `(batch_size, unprocessed_length)` 형식으로 입력해야 하며, `(batch_size, sequence_length)` 형식의 모든 `input_ids`를 입력하지 않습니다.

inputs_embeds (`torch.Tensor`, shape `(batch_size, sequence_length, hidden_size)`, *선택 사항*) : `input_ids`를 전달하는 대신 임베디드 표현을 직접 전달할 수 있습니다. 이는 모델의 내부 임베딩 조회 행렬보다 `input_ids` 인덱스를 관련 벡터로 변환하는 방식에 대해 더 많은 제어가 필요한 경우 유용합니다.

labels (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 토큰 분류 손실을 계산하기 위한 라벨. 인덱스는 `[0, ..., config.num_labels - 1]` 범위에 있어야 합니다.

use_cache (`bool`, *선택 사항*) : `True`로 설정하면 `past_key_values` 키 값 상태가 반환되며, 디코딩 속도를 높이는 데 사용할 수 있습니다(`past_key_values` 참조).

**반환값:** `TokenClassifierOutput`

`GenericForTokenClassification`의 forward 메서드는 `__call__` 특수 메서드를 오버라이드합니다.

`Module` 인스턴스는 전처리 및 후처리 단계를 실행하는 것을 처리하지만, 이 함수는 해당 단계를 조용히 무시하므로, 순전파(forward pass) 레시피를 이 함수 내에서 정의해야 하더라도 이후에는 이 함수 대신 `Module` 인스턴스를 호출해야 합니다.

## MixtralForQuestionAnswering[[transformers.MixtralForQuestionAnswering]]

#### transformers.MixtralForQuestionAnswering[[transformers.MixtralForQuestionAnswering]]

```python
transformers.MixtralForQuestionAnswering(config)
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/mixtral/modeling_mixtral.py#L649)

#### forward[[transformers.MixtralForQuestionAnswering.forward]]

```python
forward(input_ids: torch.LongTensor | None = None, attention_mask: torch.Tensor | None = None, position_ids: torch.LongTensor | None = None, past_key_values: Cache | None = None, inputs_embeds: torch.Tensor | None = None, start_positions: torch.LongTensor | None = None, end_positions: torch.LongTensor | None = None, **kwargs: Unpack[TransformersKwargs])
```

[소스](https://github.com/huggingface/transformers/blob/main/src/transformers/modeling_layers.py#L208)

**매개변수:**

input_ids (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 어휘(input sequence tokens)의 인덱스입니다. 기본적으로 패딩은 무시됩니다. [AutoTokenizer](/docs/transformers/main/ko/model_doc/auto#transformers.AutoTokenizer)를 사용하여 인덱스를 얻을 수 있습니다. 자세한 내용은 [PreTrainedTokenizer.encode()](/docs/transformers/main/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.encode) 및 [PreTrainedTokenizer.__call__()](/docs/transformers/main/ko/internal/tokenization_utils#transformers.PreTrainedTokenizerBase.__call__)를 참조하세요. [입력 ID란 무엇인가요?](../glossary#input-ids)

attention_mask (`torch.Tensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 패딩 토큰 인덱스에 대한 attention을 수행하지 않도록 방지하는 마스크입니다. `[0, 1]`에서 선택된 마스크 값: - **마스크되지 않은** 토큰은 1, - **마스크된** 토큰은 0. [attention 마스크란?](../glossary#attention-mask)

position_ids (`torch.LongTensor`, shape `(batch_size, sequence_length)`, *선택 사항*) : 각 입력 시퀀스의 토큰 위치 인덱스입니다. `[0, config.n_positions - 1]` 범위에서 선택됩니다. [위치 ID란 무엇인가요?](../glossary#position-ids)

past_key_values (`Cache`, *선택 사항*) : 순차적 디코딩을 가속화할 수 있는 사전 계산된 hidden-states(셀프 어텐션 블록과 크로스 어텐션 블록의 key 및 value)입니다. 일반적으로 `use_cache=True` 또는 `config.use_cache=True`일 때 모델이 이전 디코딩 단계에서 반환한 `past_key_values`로 구성됩니다. 입력으로 허용되는 것은 [Cache](/docs/transformers/main/ko/internal/generation_utils#transformers.Cache) 인스턴스뿐이며, [kv cache 가이드](https://huggingface.co/docs/transformers/en/kv_cache)를 참고하세요. `past_key_values`가 전달되지 않으면 기본적으로 [DynamicCache](/docs/transformers/main/ko/internal/generation_utils#transformers.DynamicCache)가 초기화됩니다. 모델은 입력으로 제공된 캐시 형식과 동일한 형식을 출력합니다. `past_key_values`를 사용하는 경우, 이 모델에 과거 key value 상태가 제공되지 않은 `input_ids`(처리되지 않은 토큰)만 `(batch_size, unprocessed_length)` 형식으로 입력해야 하며, `(batch_size, sequence_length)` 형식의 모든 `input_ids`를 입력하지 않습니다.

inputs_embeds (`torch.Tensor`, shape `(batch_size, sequence_length, hidden_size)`, *선택 사항*) : `input_ids`를 전달하는 대신 임베디드 표현을 직접 전달할 수 있습니다. 이는 모델의 내부 임베딩 조회 행렬보다 `input_ids` 인덱스를 관련 벡터로 변환하는 방식에 대해 더 많은 제어가 필요한 경우 유용합니다.

start_positions (`torch.LongTensor`, shape `(batch_size,)`, *선택 사항*) : 토큰 분류 손실을 계산하기 위해 라벨이 지정된 스팬의 시작 위치(인덱스)에 대한 라벨입니다. 위치는 시퀀스 길이(`sequence_length`)로 클램프됩니다. 시퀀스 범위를 벗어난 위치는 손실 계산에 반영되지 않습니다.

end_positions (`torch.LongTensor`, shape `(batch_size,)`, *선택 사항*) : 토큰 분류 손실을 계산하기 위해 라벨이 지정된 스팬의 끝 위치(인덱스)에 대한 라벨입니다. 위치는 시퀀스 길이(`sequence_length`)로 클램프됩니다. 시퀀스 범위를 벗어난 위치는 손실 계산에 반영되지 않습니다.

**반환값:** `QuestionAnsweringModelOutput`

`GenericForQuestionAnswering`의 forward 메서드는 `__call__` 특수 메서드를 오버라이드합니다.

`Module` 인스턴스는 전처리 및 후처리 단계를 실행하는 것을 처리하지만, 이 함수는 해당 단계를 조용히 무시하므로, 순전파(forward pass) 레시피를 이 함수 내에서 정의해야 하더라도 이후에는 이 함수 대신 `Module` 인스턴스를 호출해야 합니다.