# LeViT ## 개요 LeViT 모델은 Ben Graham, Alaaeldin El-Nouby, Hugo Touvron, Pierre Stock, Armand Joulin, Hervé Jégou, Matthijs Douze가 발표한 [LeViT: Introducing Convolutions to Vision Transformers](https://huggingface.co/papers/2104.01136)에서 제안되었습니다. LeViT는 Transformer에서 해상도가 감소하는 활성화 맵과 위치 정보를 통합하기 위한 attention bias의 도입과 같은 몇 가지 구조적 차이점을 통해 [Vision Transformer (ViT)](vit)의 성능과 효율성을 향상시킵니다. 해당 논문의 초록은 다음과 같습니다: *정확도와 효율성 간의 트레이드오프를 고속 영역에서 최적화하는 이미지 분류 아키텍처의 일족을 설계했습니다. 우리의 연구는 고도로 병렬 처리되는 하드웨어에서 경쟁력을 갖는 최신 attention 기반 아키텍처의 발견을 활용합니다. 방대한 convolutional neural networks 문헌의 원리를 재검토하여 transformer에 적용하며, 특히 해상도가 감소하는 activation maps를 다룹니다. 또한, vision transformer에 위치 정보를 통합하는 새로운 방식인 attention bias를 소개합니다. 그 결과, 빠른 추론을 위한 이미지 분류용 하이브리드 신경망인 LeViT를 제안합니다. 다양한 하드웨어 플랫폼에서 효율성의 다른 측정 기준을 고려하여 광범위한 애플리케이션 시나리오를 가장 잘 반영하도록 했습니다. 광범위한 실험을 통해 우리의 기술적 선택이 경험적으로 검증되었으며, 대부분의 아키텍처에 적합함을 보여줍니다. 전반적으로, LeViT는 속도/정확도 트레이드오프 측면에서 기존 convnet과 vision transformer를 크게 능가합니다. 예를 들어, 80% ImageNet top-1 정확도에서 LeViT는 CPU에서 EfficientNet보다 5배 빠릅니다.* drawing LeViT 아키텍처. 원 논문에서 가져왔습니다. 이 모델은 [anugunj](https://huggingface.co/anugunj)님이 기여했습니다. 원본 코드는 [여기](https://github.com/facebookresearch/LeViT)에서 확인할 수 있습니다. ## 사용 팁 - ViT와 비교할 때, LeViT 모델은 ResNet과 유사한 모델과 같은 teacher로부터 효과적으로 학습하기 위해 추가적인 distillation head를 사용합니다. 이 distillation head는 ResNet과 유사한 모델의 supervision 하에 backpropagation을 통해 학습됩니다. 또한, convolution neural network에서 영감을 받아 효율성을 높이기 위해 해상도가 감소하는 activation map을 사용합니다. - 디스틸된 모델을 파인튜닝하는 방법은 두 가지가 있습니다. (1) 디스틸레이션 헤드를 사용하지 않고 최종 히든 상태 위에 예측 헤드만 배치하는 전통적인 방식, 또는 (2) 최종 히든 상태 위에 예측 헤드와 디스틸레이션 헤드를 모두 배치하는 방식입니다. 후자의 경우, 예측 헤드는 헤드 예측과 ground-truth 레이블 간의 정규 교차 엔트로피(cross-entropy)를 사용하여 학습되고, 디스틸레이션 예측 헤드는 하드 디스틸레이션(디스틸레이션 헤드의 예측과 teacher가 예측한 레이블 간의 교차 엔트로피)을 사용하여 학습됩니다. 추론 시에는 두 헤드의 예측 평균을 최종 예측으로 사용합니다. (2)는 이미 다운스트림 데이터셋에서 파인튜닝된 teacher에 의존하기 때문에 "디스틸레이션과 함께 파인튜닝"이라고도 불립니다. 모델 측면에서 (1)은 [LevitForImageClassification](/docs/transformers/main/ko/model_doc/levit#transformers.LevitForImageClassification)에, (2)는 [LevitForImageClassificationWithTeacher](/docs/transformers/main/ko/model_doc/levit#transformers.LevitForImageClassificationWithTeacher)에 해당합니다. - 공개된 모든 체크포인트는 [ImageNet-1k](https://huggingface.co/datasets/ILSVRC/imagenet-1k)(ILSVRC 2012라고도 하며, 130만 개의 이미지와 1,000개의 클래스로 구성된 데이터셋)에서만 사전 학습 및 미세 조정되었습니다. 외부 데이터는 사용하지 않았습니다. 이는 JFT-300M 데이터셋/Imagenet-21k와 같은 외부 데이터를 사전 학습에 사용한 원래 ViT 모델과 대비됩니다. - LeViT의 저자들은 5개의 학습된 LeViT 모델을 공개했으며, 이를 [LevitModel](/docs/transformers/main/ko/model_doc/levit#transformers.LevitModel) 또는 [LevitForImageClassification](/docs/transformers/main/ko/model_doc/levit#transformers.LevitForImageClassification)에 바로 사용할 수 있습니다. 데이터 증강, 최적화, 정규화 등의 기법을 사용하여 훨씬 더 큰 데이터셋에서 학습한 효과를 시뮬레이션했습니다(사전 학습에는 ImageNet-1k만 사용). 사용 가능한 5가지 변형은 다음과 같습니다(모두 224x224 크기의 이미지로 학습): *facebook/levit-128S*, *facebook/levit-128*, *facebook/levit-192*, *facebook/levit-256*, *facebook/levit-384*. 모델을 위해 이미지를 준비하려면 [LevitImageProcessor](/docs/transformers/main/ko/model_doc/levit#transformers.LevitImageProcessor)를 사용해야 합니다. - [LevitForImageClassificationWithTeacher](/docs/transformers/main/ko/model_doc/levit#transformers.LevitForImageClassificationWithTeacher)는 현재 추론만 지원하며, 학습 또는 파인튜닝은 지원하지 않습니다. - 추론 및 커스텀 데이터로 fine-tuning에 관한 데모 노트북을 [여기](https://github.com/NielsRogge/Transformers-Tutorials/tree/master/VisionTransformer)에서 확인하실 수 있습니다([ViTImageProcessor](/docs/transformers/main/ko/model_doc/vit#transformers.ViTImageProcessor)를 [LevitImageProcessor](/docs/transformers/main/ko/model_doc/levit#transformers.LevitImageProcessor)로, [ViTForImageClassification](/docs/transformers/main/ko/model_doc/vit#transformers.ViTForImageClassification)를 [LevitForImageClassification](/docs/transformers/main/ko/model_doc/levit#transformers.LevitForImageClassification) 또는 [LevitForImageClassificationWithTeacher](/docs/transformers/main/ko/model_doc/levit#transformers.LevitForImageClassificationWithTeacher)로 교체하시면 됩니다). ## 리소스 LeViT 시작을 돕기 위한 공식 Hugging Face 및 커뮤니티(🌎로 표시) 리소스 목록입니다. - 이 [노트북](https://colab.research.google.com/github/huggingface/notebooks/blob/main/examples/image_classification.ipynb)은 [LevitForImageClassification](/docs/transformers/main/ko/model_doc/levit#transformers.LevitForImageClassification)을 지원합니다. - 참고: [이미지 분류 작업 가이드](../tasks/image_classification) 여기에 포함할 리소스를 제출하고 싶으시면 Pull Request를 열어 주시면 검토하겠습니다! 기존 리소스와 중복되지 않고 새로운 것을 보여주는 것이 이상적입니다. ## LevitConfig[[transformers.LevitConfig]] #### transformers.LevitConfig[[transformers.LevitConfig]] ```python transformers.LevitConfig(transformers_version: str | None = None, architectures: list[str] | None = None, output_hidden_states: bool | None = False, return_dict: bool | None = True, dtype: str | torch.dtype | None = None, chunk_size_feed_forward: int = 0, is_encoder_decoder: bool = False, id2label: dict[int, str] | dict[str, str] | None = None, label2id: dict[str, int] | dict[str, str] | None = None, problem_type: Literal['regression', 'single_label_classification', 'multi_label_classification'] | None = None, image_size: int | list[int] | tuple[int, int] = 224, num_channels: int = 3, kernel_size: int = 3, stride: int = 2, padding: int = 1, patch_size: int | list[int] | tuple[int, int] = 16, hidden_sizes: list[int] | tuple[int, ...] = (128, 256, 384), num_attention_heads: list[int] | tuple[int, ...] = (4, 8, 12), depths: list[int] | tuple[int, ...] = (4, 4, 4), key_dim: list[int] | tuple[int, ...] = (16, 16, 16), drop_path_rate: int = 0, mlp_ratio: list[int] | tuple[int, ...] = (2, 2, 2), attention_ratio: list[int] | tuple[int, ...] = (2, 2, 2), initializer_range: float = 0.02) ``` [소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/levit/configuration_levit.py#L24) **매개변수:** image_size (`Union[int, list[int], tuple[int, int]]`, *선택*, 기본값 `224`) : 각 이미지의 크기(해상도). num_channels (`int`, *선택 사항*, 기본값 `3`) : 입력 채널의 수입니다. kernel_size (`int`, *선택 사항*, 기본값 `3`) : 컨볼루션 커널의 크기입니다. stride (`int`, *선택 사항*, 기본값 2) : 패치 임베딩의 초기 컨볼루션 레이어에 사용되는 스트라이드 크기입니다. padding (`int`, *선택 사항*, 기본값 1) : 패치 임베딩의 초기 컨볼루션 레이어에 대한 패딩 크기입니다. patch_size (`Union[int, list[int], tuple[int, int]]`, *선택*, 기본값 `16`) : 각 패치의 크기(해상도). hidden_sizes (`Union[list[int], tuple[int, ...]]`, *선택 사항*, 기본값 `(128, 256, 384)`) : 모델의 각 단계별 차원(숨겨진 크기). num_attention_heads (`Union[list[int], tuple[int, ...]]`, *선택 사항*, 기본값 `(4, 8, 12)`) : Transformer 디코더의 각 어텐션 레이어에 사용할 어텐션 헤드 수입니다. depths (`Union[list[int], tuple[int, ...]]`, *선택 사항*, 기본값 `(4, 4, 4)`) : Transformer의 각 레이어 깊이. key_dim (`list[int]`, *선택 사항*, 기본값 `[16, 16, 16]`) : 인코더 블록 각각의 key 크기입니다. drop_path_rate (`int`, *선택 사항*, 기본값 `0`) : 패치 퓨전의 드롭 패스 비율입니다. mlp_ratio (`Union[list[int], tuple[int, ...]]`, *선택 사항*, 기본값 `(2, 2, 2)`) : MLP 숨겨진 차원과 임베딩 차원의 비율. attention_ratio (`list[int]`, *선택 사항*, 기본값 `[2, 2, 2]`) : attention 레이어의 출력 차원 크기를 입력 차원 크기와 비교한 비율입니다. initializer_range (`float`, *선택 사항*, 기본값 `0.02`) : 모든 가중치 행렬을 초기화하는 truncated_normal_initializer의 표준 편차입니다. LevitModel의 설정을 저장하기 위한 설정 클래스입니다. 지정된 인자에 따라 Levit 모델을 초기화하고 모델 아키텍처를 정의하는 데 사용됩니다. 기본값으로 설정을 초기화하면 [facebook/levit-128S](https://huggingface.co/facebook/levit-128S)와 유사한 설정이 생성됩니다. Configuration 객체는 [PreTrainedConfig](/docs/transformers/main/ko/main_classes/configuration#transformers.PreTrainedConfig)를 상속하며, 모델 출력을 제어하는 데 사용할 수 있습니다. 자세한 내용은 [PreTrainedConfig](/docs/transformers/main/ko/main_classes/configuration#transformers.PreTrainedConfig)의 문서를 참고하세요. 예: ```python >>> from transformers import LevitConfig, LevitModel >>> # Initializing a LeViT levit-128S style configuration >>> configuration = LevitConfig() >>> # Initializing a model (with random weights) from the levit-128S style configuration >>> model = LevitModel(configuration) >>> # Accessing the model configuration >>> configuration = model.config ``` ## LevitImageProcessor[[transformers.LevitImageProcessor]] #### transformers.LevitImageProcessor[[transformers.LevitImageProcessor]] ```python transformers.LevitImageProcessor(**kwargs: *) ``` [소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/levit/image_processing_levit.py#L33) **매개변수:** do_convert_rgb (`bool`, *kwargs*, *선택 사항*, 기본값 `None`) : 이미지를 RGB로 변환할지 여부. do_resize (`bool`, *kwargs*, *선택 사항*, 기본값 `True`) : 이미지를 리사이즈할지 여부. size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*, 기본값 `{'shortest_edge' : 224}`): 모델에 입력되는 최대 차원을 설명합니다. default_to_square (`bool`, *kwargs*, *선택 사항*, 기본값 `False`) : size가 int인 경우 리사이즈 시 정사각형 이미지로 설정할지 여부. crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*, 기본값 `{'height' : 224, 'width': 224}`): `center_crop`를 적용한 후 출력 이미지의 크기. resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*, 기본값 `3`) : 이미지를 리사이즈할 때 사용할 리샘플링 필터입니다. `PILImageResampling` enum 중 하나를 사용할 수 있습니다. `do_resize`가 `True`로 설정된 경우에만 효과가 있습니다. do_rescale (`bool`, *kwargs*, *선택 사항*, 기본값 `True`) : 이미지를 다시 스케일링할지 여부. rescale_factor (`float`, *kwargs*, *선택 사항*, 기본값 `0.00392156862745098`) : `do_rescale`이 `True`로 설정된 경우 이미지를 재조정하는 데 사용되는 재조정 계수입니다. do_normalize (`bool`, *kwargs*, *선택 사항*, 기본값 `True`) : 이미지를 정규화할지 여부. image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *선택 사항*, 기본값은 `[0.485, 0.456, 0.406]`) : 정규화에 사용할 이미지 평균입니다. `do_normalize`가 `True`로 설정된 경우에만 효과가 있습니다. image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *선택 사항*, 기본값은 `[0.229, 0.224, 0.225]`) : 정규화에 사용할 이미지 표준 편차입니다. `do_normalize`가 `True`로 설정된 경우에만 효과가 있습니다. do_pad (`bool`, *kwargs*, *선택*) : 이미지를 패딩할지 여부입니다. 패딩은 배치 내 가장 큰 크기로 수행하거나, 이미지마다 고정된 정사각형 크기로 수행합니다. 정확한 패딩 전략은 모델에 따라 달라집니다. pad_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : 이미지를 패딩할 `{"height": int, "width" int}` 크기를 지정합니다. 전처리용으로 제공된 모든 이미지 크기보다 커야 합니다. `pad_size`가 제공되지 않으면, 이미지는 배치 내 가장 큰 높이와 너비로 패딩됩니다. `do_pad=True.`일 때만 적용됩니다. do_center_crop (`bool`, *kwargs*, *선택 사항*, 기본값 `True`) : 이미지를 중앙 크롭할지 여부. data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *선택*) : `ChannelDimension.FIRST`만 지원됩니다. 느린 프로세서와의 호환성을 위해 추가되었습니다. input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *선택*) : 입력 이미지의 채널 차원 형식입니다. 설정하지 않으면 입력 이미지에서 채널 차원 형식을 추론합니다. 다음 중 하나일 수 있습니다: - `"channels_first"` 또는 `ChannelDimension.FIRST`: (num_channels, height, width) 형식의 이미지. - `"channels_last"` 또는 `ChannelDimension.LAST`: (height, width, num_channels) 형식의 이미지. - `"none"` 또는 `ChannelDimension.NONE`: (height, width) 형식의 이미지. device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : 비디오를 처리할 장치입니다. 설정되지 않은 경우, 입력 비디오에서 장치를 추론합니다. return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : `'pt'`로 설정된 경우 스택된 텐서를 반환하고, 그렇지 않으면 텐서 목록을 반환합니다. disable_grouping (`bool`, *kwargs*, *선택*) : 이미지의 크기에 따른 그룹화를 비활성화하여 이미지를 배치 대신 개별적으로 처리할지 여부입니다. None인 경우, 이미지가 CPU에 있으면 True, 그렇지 않으면 False로 설정됩니다. 이 선택은 https://github.com/huggingface/transformers/pull/38157에 자세히 설명된 경험적 관찰에 기반합니다. image_seq_length (`int`, *kwargs*, *선택*) : 입력의 각 이미지에 사용할 이미지 토큰의 수입니다. 하위 호환성을 위해 추가되었지만, 향후 모델에서는 프로세서 속성으로 설정해야 합니다. LevitImageProcessor 이미지 프로세서를 생성합니다. #### preprocess[[transformers.LevitImageProcessor.preprocess]] ```python preprocess(images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']], *args, image_like_kwargs: dict[str, typing.Any] | None = None, **kwargs: *) ``` [소스](https://github.com/huggingface/transformers/blob/main/src/transformers/image_processing_utils.py#L382) **매개변수:** images (`Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]`) : 전처리할 이미지. 픽셀 값이 0에서 255 범위로 이루어진 단일 이미지 또는 배치 이미지를 기대합니다. 픽셀 값이 0에서 1 범위로 이루어진 이미지를 전달하는 경우 `do_rescale=False`로 설정하세요. image_like_kwargs (`dict[str, Any]`, *선택*) : 추가 이미지 형식 입력을 전처리할 때 사용하는 개발자 플래그입니다. 입력을 kwarg로 전달하는 것이 작동하지 않을 때만 사용하세요. 예를 들어, `preprocess(images, masks=masks)`가 권장되는 방식이지만 일부 모델에서는 인자 우선순위 문제가 발생할 수 있습니다. 이러한 경우 대신 `preprocess(images, image_like_inputs={"masks": masks})`를 사용할 수 있습니다. do_convert_rgb (`bool`, *kwargs*, *선택*) : 이미지를 RGB로 변환할지 여부. do_resize (`bool`, *kwargs*, *선택*) : 이미지를 리사이즈할지 여부. size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : 모델의 최대 입력 차원을 설명합니다. default_to_square (`bool`, *kwargs*, *선택*) : size가 int인 경우 리사이즈 시 정사각형 이미지로 기본 설정할지 여부. crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : `center_crop`를 적용한 후의 출력 이미지 크기. resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*) : 이미지를 리사이즈할 때 사용할 리샘플링 필터입니다. `PILImageResampling` enum 중 하나를 사용할 수 있습니다. `do_resize`가 `True`로 설정된 경우에만 효과가 있습니다. do_rescale (`bool`, *kwargs*, *선택*) : 이미지를 다시 스케일링할지 여부. rescale_factor (`float`, *kwargs*, *선택*) : `do_rescale`가 `True`로 설정된 경우 이미지를 재조정하는 데 사용되는 재조정 계수입니다. do_normalize (`bool`, *kwargs*, *선택*) : 이미지를 정규화할지 여부. image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *선택*) : 정규화에 사용할 이미지 평균값. `do_normalize`이 `True`로 설정된 경우에만 효과가 있습니다. image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *선택*) : 정규화에 사용할 이미지 표준 편차. `do_normalize`가 `True`로 설정된 경우에만 효과가 있습니다. do_pad (`bool`, *kwargs*, *선택*) : 이미지를 패딩할지 여부입니다. 패딩은 배치 내 가장 큰 크기로 수행하거나, 이미지마다 고정된 정사각형 크기로 수행합니다. 정확한 패딩 전략은 모델에 따라 달라집니다. pad_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : 이미지를 패딩할 `{"height": int, "width" int}` 크기를 지정합니다. 전처리용으로 제공된 모든 이미지 크기보다 커야 합니다. `pad_size`가 제공되지 않으면, 이미지는 배치 내 가장 큰 높이와 너비로 패딩됩니다. `do_pad=True.`일 때만 적용됩니다. do_center_crop (`bool`, *kwargs*, *선택*) : 이미지를 중앙 크롭할지 여부. data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *선택*) : `ChannelDimension.FIRST`만 지원됩니다. 느린 프로세서와의 호환성을 위해 추가되었습니다. input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *선택*) : 입력 이미지의 채널 차원 형식입니다. 설정하지 않으면 입력 이미지에서 채널 차원 형식을 추론합니다. 다음 중 하나일 수 있습니다: - `"channels_first"` 또는 `ChannelDimension.FIRST`: (num_channels, height, width) 형식의 이미지. - `"channels_last"` 또는 `ChannelDimension.LAST`: (height, width, num_channels) 형식의 이미지. - `"none"` 또는 `ChannelDimension.NONE`: (height, width) 형식의 이미지. device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : 비디오를 처리할 장치입니다. 설정되지 않은 경우, 입력 비디오에서 장치를 추론합니다. return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : `'pt'`로 설정된 경우 스택된 텐서를 반환하고, 그렇지 않으면 텐서 목록을 반환합니다. disable_grouping (`bool`, *kwargs*, *선택*) : 이미지의 크기에 따른 그룹화를 비활성화하여 이미지를 배치 대신 개별적으로 처리할지 여부입니다. None인 경우, 이미지가 CPU에 있으면 True, 그렇지 않으면 False로 설정됩니다. 이 선택은 https://github.com/huggingface/transformers/pull/38157에 자세히 설명된 경험적 관찰에 기반합니다. image_seq_length (`int`, *kwargs*, *선택*) : 입력의 각 이미지에 사용할 이미지 토큰의 수입니다. 하위 호환성을 위해 추가되었지만, 향후 모델에서는 프로세서 속성으로 설정해야 합니다. **반환값:** `~image_processing_base.BatchFeature` - **data** (`dict`) -- __call__ 메서드가 반환하는 리스트/배열/텐서 딕셔너리('pixel_values' 등). - **tensor_type** (`Union[None, str, TensorType]`, *선택 사항*) -- 초기화 시 PyTorch/Numpy 텐서에서 정수 목록을 변환하려면 여기에 tensor_type을 지정할 수 있습니다. 이미지 또는 이미지 배치(batch)를 전처리합니다. ## LevitImageProcessorPil[[transformers.LevitImageProcessorPil]] #### transformers.LevitImageProcessorPil[[transformers.LevitImageProcessorPil]] ```python transformers.LevitImageProcessorPil(**kwargs: *) ``` [소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/levit/image_processing_pil_levit.py#L32) **매개변수:** do_convert_rgb (`bool`, *kwargs*, *선택 사항*, 기본값 `None`) : 이미지를 RGB로 변환할지 여부. do_resize (`bool`, *kwargs*, *선택 사항*, 기본값 `True`) : 이미지를 리사이즈할지 여부. size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*, 기본값 `{'shortest_edge' : 224}`): 모델에 입력되는 최대 차원을 설명합니다. default_to_square (`bool`, *kwargs*, *선택 사항*, 기본값 `False`) : size가 int인 경우 리사이즈 시 정사각형 이미지로 설정할지 여부. crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*, 기본값 `{'height' : 224, 'width': 224}`): `center_crop`를 적용한 후 출력 이미지의 크기. resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*, 기본값 `3`) : 이미지를 리사이즈할 때 사용할 리샘플링 필터입니다. `PILImageResampling` enum 중 하나를 사용할 수 있습니다. `do_resize`가 `True`로 설정된 경우에만 효과가 있습니다. do_rescale (`bool`, *kwargs*, *선택 사항*, 기본값 `True`) : 이미지를 다시 스케일링할지 여부. rescale_factor (`float`, *kwargs*, *선택 사항*, 기본값 `0.00392156862745098`) : `do_rescale`이 `True`로 설정된 경우 이미지를 재조정하는 데 사용되는 재조정 계수입니다. do_normalize (`bool`, *kwargs*, *선택 사항*, 기본값 `True`) : 이미지를 정규화할지 여부. image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *선택 사항*, 기본값은 `[0.485, 0.456, 0.406]`) : 정규화에 사용할 이미지 평균입니다. `do_normalize`가 `True`로 설정된 경우에만 효과가 있습니다. image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *선택 사항*, 기본값은 `[0.229, 0.224, 0.225]`) : 정규화에 사용할 이미지 표준 편차입니다. `do_normalize`가 `True`로 설정된 경우에만 효과가 있습니다. do_pad (`bool`, *kwargs*, *선택*) : 이미지를 패딩할지 여부입니다. 패딩은 배치 내 가장 큰 크기로 수행하거나, 이미지마다 고정된 정사각형 크기로 수행합니다. 정확한 패딩 전략은 모델에 따라 달라집니다. pad_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : 이미지를 패딩할 `{"height": int, "width" int}` 크기를 지정합니다. 전처리용으로 제공된 모든 이미지 크기보다 커야 합니다. `pad_size`가 제공되지 않으면, 이미지는 배치 내 가장 큰 높이와 너비로 패딩됩니다. `do_pad=True.`일 때만 적용됩니다. do_center_crop (`bool`, *kwargs*, *선택 사항*, 기본값 `True`) : 이미지를 중앙 크롭할지 여부. data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *선택*) : `ChannelDimension.FIRST`만 지원됩니다. 느린 프로세서와의 호환성을 위해 추가되었습니다. input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *선택*) : 입력 이미지의 채널 차원 형식입니다. 설정하지 않으면 입력 이미지에서 채널 차원 형식을 추론합니다. 다음 중 하나일 수 있습니다: - `"channels_first"` 또는 `ChannelDimension.FIRST`: (num_channels, height, width) 형식의 이미지. - `"channels_last"` 또는 `ChannelDimension.LAST`: (height, width, num_channels) 형식의 이미지. - `"none"` 또는 `ChannelDimension.NONE`: (height, width) 형식의 이미지. device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : 비디오를 처리할 장치입니다. 설정되지 않은 경우, 입력 비디오에서 장치를 추론합니다. return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : `'pt'`로 설정된 경우 스택된 텐서를 반환하고, 그렇지 않으면 텐서 목록을 반환합니다. disable_grouping (`bool`, *kwargs*, *선택*) : 이미지의 크기에 따른 그룹화를 비활성화하여 이미지를 배치 대신 개별적으로 처리할지 여부입니다. None인 경우, 이미지가 CPU에 있으면 True, 그렇지 않으면 False로 설정됩니다. 이 선택은 https://github.com/huggingface/transformers/pull/38157에 자세히 설명된 경험적 관찰에 기반합니다. image_seq_length (`int`, *kwargs*, *선택*) : 입력의 각 이미지에 사용할 이미지 토큰의 수입니다. 하위 호환성을 위해 추가되었지만, 향후 모델에서는 프로세서 속성으로 설정해야 합니다. LevitImageProcessor 이미지 프로세서를 생성합니다. #### preprocess[[transformers.LevitImageProcessorPil.preprocess]] ```python preprocess(images: typing.Union[ForwardRef('PIL.Image.Image'), numpy.ndarray, ForwardRef('torch.Tensor'), list['PIL.Image.Image'], list[numpy.ndarray], list['torch.Tensor']], *args, image_like_kwargs: dict[str, typing.Any] | None = None, **kwargs: *) ``` [소스](https://github.com/huggingface/transformers/blob/main/src/transformers/image_processing_utils.py#L382) **매개변수:** images (`Union[PIL.Image.Image, numpy.ndarray, torch.Tensor, list[PIL.Image.Image], list[numpy.ndarray], list[torch.Tensor]]`) : 전처리할 이미지. 픽셀 값이 0에서 255 범위로 이루어진 단일 이미지 또는 배치 이미지를 기대합니다. 픽셀 값이 0에서 1 범위로 이루어진 이미지를 전달하는 경우 `do_rescale=False`로 설정하세요. image_like_kwargs (`dict[str, Any]`, *선택*) : 추가 이미지 형식 입력을 전처리할 때 사용하는 개발자 플래그입니다. 입력을 kwarg로 전달하는 것이 작동하지 않을 때만 사용하세요. 예를 들어, `preprocess(images, masks=masks)`가 권장되는 방식이지만 일부 모델에서는 인자 우선순위 문제가 발생할 수 있습니다. 이러한 경우 대신 `preprocess(images, image_like_inputs={"masks": masks})`를 사용할 수 있습니다. do_convert_rgb (`bool`, *kwargs*, *선택*) : 이미지를 RGB로 변환할지 여부. do_resize (`bool`, *kwargs*, *선택*) : 이미지를 리사이즈할지 여부. size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : 모델의 최대 입력 차원을 설명합니다. default_to_square (`bool`, *kwargs*, *선택*) : size가 int인 경우 리사이즈 시 정사각형 이미지로 기본 설정할지 여부. crop_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : `center_crop`를 적용한 후의 출력 이미지 크기. resample (`Annotated[Union[int, PILImageResampling, NoneType], None]`, *kwargs*) : 이미지를 리사이즈할 때 사용할 리샘플링 필터입니다. `PILImageResampling` enum 중 하나를 사용할 수 있습니다. `do_resize`가 `True`로 설정된 경우에만 효과가 있습니다. do_rescale (`bool`, *kwargs*, *선택*) : 이미지를 다시 스케일링할지 여부. rescale_factor (`float`, *kwargs*, *선택*) : `do_rescale`가 `True`로 설정된 경우 이미지를 재조정하는 데 사용되는 재조정 계수입니다. do_normalize (`bool`, *kwargs*, *선택*) : 이미지를 정규화할지 여부. image_mean (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *선택*) : 정규화에 사용할 이미지 평균값. `do_normalize`이 `True`로 설정된 경우에만 효과가 있습니다. image_std (`Union[float, list[float], tuple[float, ...]]`, *kwargs*, *선택*) : 정규화에 사용할 이미지 표준 편차. `do_normalize`가 `True`로 설정된 경우에만 효과가 있습니다. do_pad (`bool`, *kwargs*, *선택*) : 이미지를 패딩할지 여부입니다. 패딩은 배치 내 가장 큰 크기로 수행하거나, 이미지마다 고정된 정사각형 크기로 수행합니다. 정확한 패딩 전략은 모델에 따라 달라집니다. pad_size (`Annotated[int | list[int] | tuple[int, ...] | dict[str, int] | None, None]`, *kwargs*) : 이미지를 패딩할 `{"height": int, "width" int}` 크기를 지정합니다. 전처리용으로 제공된 모든 이미지 크기보다 커야 합니다. `pad_size`가 제공되지 않으면, 이미지는 배치 내 가장 큰 높이와 너비로 패딩됩니다. `do_pad=True.`일 때만 적용됩니다. do_center_crop (`bool`, *kwargs*, *선택*) : 이미지를 중앙 크롭할지 여부. data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *선택*) : `ChannelDimension.FIRST`만 지원됩니다. 느린 프로세서와의 호환성을 위해 추가되었습니다. input_data_format (`Union[str, ~image_utils.ChannelDimension]`, *kwargs*, *선택*) : 입력 이미지의 채널 차원 형식입니다. 설정하지 않으면 입력 이미지에서 채널 차원 형식을 추론합니다. 다음 중 하나일 수 있습니다: - `"channels_first"` 또는 `ChannelDimension.FIRST`: (num_channels, height, width) 형식의 이미지. - `"channels_last"` 또는 `ChannelDimension.LAST`: (height, width, num_channels) 형식의 이미지. - `"none"` 또는 `ChannelDimension.NONE`: (height, width) 형식의 이미지. device (`Annotated[Union[str, torch.device, NoneType], None]`, *kwargs*) : 비디오를 처리할 장치입니다. 설정되지 않은 경우, 입력 비디오에서 장치를 추론합니다. return_tensors (`Annotated[str | ~utils.generic.TensorType | None, None]`, *kwargs*) : `'pt'`로 설정된 경우 스택된 텐서를 반환하고, 그렇지 않으면 텐서 목록을 반환합니다. disable_grouping (`bool`, *kwargs*, *선택*) : 이미지의 크기에 따른 그룹화를 비활성화하여 이미지를 배치 대신 개별적으로 처리할지 여부입니다. None인 경우, 이미지가 CPU에 있으면 True, 그렇지 않으면 False로 설정됩니다. 이 선택은 https://github.com/huggingface/transformers/pull/38157에 자세히 설명된 경험적 관찰에 기반합니다. image_seq_length (`int`, *kwargs*, *선택*) : 입력의 각 이미지에 사용할 이미지 토큰의 수입니다. 하위 호환성을 위해 추가되었지만, 향후 모델에서는 프로세서 속성으로 설정해야 합니다. **반환값:** `~image_processing_base.BatchFeature` - **data** (`dict`) -- __call__ 메서드가 반환하는 리스트/배열/텐서 딕셔너리('pixel_values' 등). - **tensor_type** (`Union[None, str, TensorType]`, *선택 사항*) -- 초기화 시 PyTorch/Numpy 텐서에서 정수 목록을 변환하려면 여기에 tensor_type을 지정할 수 있습니다. 이미지 또는 이미지 배치(batch)를 전처리합니다. ## LevitModel[[transformers.LevitModel]] #### transformers.LevitModel[[transformers.LevitModel]] ```python transformers.LevitModel(config: LevitConfig) ``` [소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/levit/modeling_levit.py#L489) **매개변수:** config ([LevitConfig](/docs/transformers/main/ko/model_doc/levit#transformers.LevitConfig)) : 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 [from_pretrained()](/docs/transformers/main/ko/main_classes/model#transformers.PreTrainedModel.from_pretrained) 메서드를 확인하세요. 특정 헤드가 위에 없는 상태의 Levit 모델은 원시 hidden-states를 출력합니다. 이 모델은 [PreTrainedModel](/docs/transformers/main/ko/main_classes/model#transformers.PreTrainedModel)에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대해서는 상위 클래스 문서를 확인하세요. 이 모델은 또한 PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법과 동작에 관한 모든 사항은 PyTorch 문서를 참조하세요. #### forward[[transformers.LevitModel.forward]] ```python forward(pixel_values: typing.Optional[torch.Tensor] = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs) ``` [소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/levit/modeling_levit.py#L498) **매개변수:** pixel_values (`torch.Tensor`, shape `(batch_size, num_channels, image_size, image_size)`, *선택 사항*) : 입력 이미지에 해당하는 텐서입니다. 픽셀 값은 [LevitImageProcessor](/docs/transformers/main/ko/model_doc/levit#transformers.LevitImageProcessor)를 사용하여 얻을 수 있습니다. 자세한 내용은 [LevitImageProcessor.__call__()](/docs/transformers/main/ko/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__)를 참조하세요 (`processor_class`는 이미지 처리에 [LevitImageProcessor](/docs/transformers/main/ko/model_doc/levit#transformers.LevitImageProcessor)를 사용합니다). output_hidden_states (`bool`, *선택 사항*) : 모든 레이어의 hidden states를 반환할지 여부. 자세한 내용은 반환되는 텐서 중 `hidden_states` 항목을 참조하세요. return_dict (`bool`, *선택 사항*) : 일반 튜플 대신 [ModelOutput](/docs/transformers/main/ko/main_classes/output#transformers.utils.ModelOutput)를 반환할지 여부. **반환값:** `BaseModelOutputWithPoolingAndNoAttention` 또는 `tuple(torch.Tensor)` `BaseModelOutputWithPoolingAndNoAttention` 또는 (`return_dict=False`가 전달되거나 `config.return_dict=False`인 경우) `torch.Tensor`의 튜플로, 구성([LevitConfig](/docs/transformers/main/ko/model_doc/levit#transformers.LevitConfig)) 및 입력에 따라 다양한 요소를 포함합니다. [LevitModel](/docs/transformers/main/ko/model_doc/levit#transformers.LevitModel)의 forward 메서드는 `__call__` 특수 메서드를 오버라이드합니다. `Module` 인스턴스는 전처리 및 후처리 단계를 실행하는 것을 처리하지만, 이 함수는 해당 단계를 조용히 무시하므로, 순전파(forward pass) 레시피를 이 함수 내에서 정의해야 하더라도 이후에는 이 함수 대신 `Module` 인스턴스를 호출해야 합니다. - **last_hidden_state** (`torch.Tensor`, shape `(batch_size, num_channels, height, width)`) -- 모델의 마지막 레이어 출력에서 생성된 hidden-state 시퀀스입니다. - **pooler_output** (`torch.Tensor`, shape `(batch_size, hidden_size)`) -- 공간 차원에 대해 풀링 연산을 수행한 후의 마지막 레이어 hidden-state입니다. - **hidden_states** (`tuple(torch.Tensor)`, *선택 사항*, `output_hidden_states=True`가 전달되었거나 `config.output_hidden_states=True`인 경우 반환됨) -- `torch.Tensor`의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩 출력 1개 + 각 레이어의 출력 1개)로, 모양은 `(batch_size, num_channels, height, width)`입니다. 각 레이어의 출력에서 모델의 Hidden-states와 선택적 초기 임베딩 출력을 포함합니다. 예: ```python ``` ## LevitForImageClassification[[transformers.LevitForImageClassification]] #### transformers.LevitForImageClassification[[transformers.LevitForImageClassification]] ```python transformers.LevitForImageClassification(config: LevitConfig) ``` [소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/levit/modeling_levit.py#L542) **매개변수:** config ([LevitConfig](/docs/transformers/main/ko/model_doc/levit#transformers.LevitConfig)) : 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 [from_pretrained()](/docs/transformers/main/ko/main_classes/model#transformers.PreTrainedModel.from_pretrained) 메서드를 확인하세요. Levit 모델 위에 이미지 분류 헤더(풀링된 특징 위에 선형 레이어)를 추가한 형태, 예: ImageNet. 이 모델은 [PreTrainedModel](/docs/transformers/main/ko/main_classes/model#transformers.PreTrainedModel)에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대해서는 상위 클래스 문서를 확인하세요. 이 모델은 또한 PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법과 동작에 관한 모든 사항은 PyTorch 문서를 참조하세요. #### forward[[transformers.LevitForImageClassification.forward]] ```python forward(pixel_values: typing.Optional[torch.Tensor] = None, labels: typing.Optional[torch.LongTensor] = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs) ``` [소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/levit/modeling_levit.py#L559) **매개변수:** pixel_values (`torch.Tensor`, shape `(batch_size, num_channels, image_size, image_size)`, *선택 사항*) : 입력 이미지에 해당하는 텐서입니다. 픽셀 값은 [LevitImageProcessor](/docs/transformers/main/ko/model_doc/levit#transformers.LevitImageProcessor)를 사용하여 얻을 수 있습니다. 자세한 내용은 [LevitImageProcessor.__call__()](/docs/transformers/main/ko/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__)를 참조하세요 (`processor_class`는 이미지 처리에 [LevitImageProcessor](/docs/transformers/main/ko/model_doc/levit#transformers.LevitImageProcessor)를 사용합니다). labels (`torch.LongTensor`, shape `(batch_size,)`, *선택 사항*) : 이미지 분류/회귀 손실을 계산하는 데 사용되는 라벨. 인덱스는 `[0, ..., config.num_labels - 1]` 범위에 있어야 합니다. `config.num_labels == 1`인 경우 회귀 손실(평균 제곱 손실)이 계산되고, `config.num_labels > 1`인 경우 분류 손실(크로스 엔트로피)이 계산됩니다. output_hidden_states (`bool`, *선택 사항*) : 모든 레이어의 hidden states를 반환할지 여부. 자세한 내용은 반환되는 텐서 중 `hidden_states` 항목을 참조하세요. return_dict (`bool`, *선택 사항*) : 일반 튜플 대신 [ModelOutput](/docs/transformers/main/ko/main_classes/output#transformers.utils.ModelOutput)를 반환할지 여부. **반환값:** [ImageClassifierOutputWithNoAttention](/docs/transformers/main/ko/main_classes/output#transformers.modeling_outputs.ImageClassifierOutputWithNoAttention) 또는 `tuple(torch.Tensor)` 구성([LevitConfig](/docs/transformers/main/ko/model_doc/levit#transformers.LevitConfig))과 입력에 따라 다양한 요소를 포함하는 [ImageClassifierOutputWithNoAttention](/docs/transformers/main/ko/main_classes/output#transformers.modeling_outputs.ImageClassifierOutputWithNoAttention) 또는 `torch.Tensor`의 튜플(`return_dict=False`가 전달되거나 `config.return_dict=False`인 경우). [LevitForImageClassification](/docs/transformers/main/ko/model_doc/levit#transformers.LevitForImageClassification)의 forward 메서드는 `__call__` 특수 메서드를 오버라이드합니다. `Module` 인스턴스는 전처리 및 후처리 단계를 실행하는 것을 처리하지만, 이 함수는 해당 단계를 조용히 무시하므로, 순전파(forward pass) 레시피를 이 함수 내에서 정의해야 하더라도 이후에는 이 함수 대신 `Module` 인스턴스를 호출해야 합니다. - **loss** (`torch.Tensor`, shape `(1,)`, *선택*, `labels`이 제공될 때 반환됨) -- 분류(또는 config.num_labels==1인 경우 회귀) 손실. - **logits** (`torch.Tensor`, shape `(batch_size, config.num_labels)`) -- SoftMax 적용 전 분류(또는 config.num_labels==1인 경우 회귀) 점수. - **hidden_states** (`tuple(torch.Tensor)`, *선택*, `output_hidden_states=True`가 전달되거나 `config.output_hidden_states=True`인 경우 반환) -- `torch.Tensor`의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩 출력용 1개 + 각 단계 출력용 1개)로, shape은 `(batch_size, num_channels, height, width)`입니다. 각 단계 출력 시점의 모델 hidden-states(또는 feature maps)입니다. 예: ```python >>> from transformers import AutoImageProcessor, LevitForImageClassification >>> import torch >>> from datasets import load_dataset >>> dataset = load_dataset("huggingface/cats-image") >>> image = dataset["test"]["image"][0] >>> image_processor = AutoImageProcessor.from_pretrained("facebook/levit-128S") >>> model = LevitForImageClassification.from_pretrained("facebook/levit-128S") >>> inputs = image_processor(image, return_tensors="pt") >>> with torch.no_grad(): ... logits = model(**inputs).logits >>> # model predicts one of the 1000 ImageNet classes >>> predicted_label = logits.argmax(-1).item() >>> print(model.config.id2label[predicted_label]) ... ``` ## LevitForImageClassificationWithTeacher[[transformers.LevitForImageClassificationWithTeacher]] #### transformers.LevitForImageClassificationWithTeacher[[transformers.LevitForImageClassificationWithTeacher]] ```python transformers.LevitForImageClassificationWithTeacher(config: LevitConfig) ``` [소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/levit/modeling_levit.py#L599) **매개변수:** config ([LevitConfig](/docs/transformers/main/ko/model_doc/levit#transformers.LevitConfig)) : 모델의 모든 매개변수를 포함하는 모델 구성 클래스입니다. 구성 파일로 초기화하는 것은 모델과 관련된 가중치를 로드하지 않으며, 구성 정보만 로드합니다. 모델 가중치를 로드하려면 [from_pretrained()](/docs/transformers/main/ko/main_classes/model#transformers.PreTrainedModel.from_pretrained) 메서드를 확인하세요. LeViT 모델은 최종 숨겨진 상태 위에 선형 레이어와 증류 토큰의 최종 숨겨진 상태 위에 선형 레이어를 갖춘 이미지 분류 헤드를 가진 트랜스포머입니다. 예: ImageNet. .. warning:: 이 모델은 추론만 지원합니다. 증류(즉, 티처 모델 사용)를 통한 파인튜닝은 아직 지원되지 않습니다. 이 모델은 [PreTrainedModel](/docs/transformers/main/ko/main_classes/model#transformers.PreTrainedModel)에서 상속됩니다. 라이브러리가 모든 모델에 대해 구현하는 일반적 메서드(다운로드 또는 저장, 입력 임베딩 크기 조정, 헤드 프루닝 등)에 대해서는 상위 클래스 문서를 확인하세요. 이 모델은 또한 PyTorch [torch.nn.Module](https://pytorch.org/docs/stable/nn.html#torch.nn.Module)의 하위 클래스입니다. 일반적인 PyTorch Module처럼 사용하며, 일반적인 사용법과 동작에 관한 모든 사항은 PyTorch 문서를 참조하세요. #### forward[[transformers.LevitForImageClassificationWithTeacher.forward]] ```python forward(pixel_values: typing.Optional[torch.Tensor] = None, output_hidden_states: bool | None = None, return_dict: bool | None = None, **kwargs) ``` [소스](https://github.com/huggingface/transformers/blob/main/src/transformers/models/levit/modeling_levit.py#L621) **매개변수:** pixel_values (`torch.Tensor`, shape `(batch_size, num_channels, image_size, image_size)`, *선택 사항*) : 입력 이미지에 해당하는 텐서입니다. 픽셀 값은 [LevitImageProcessor](/docs/transformers/main/ko/model_doc/levit#transformers.LevitImageProcessor)를 사용하여 얻을 수 있습니다. 자세한 내용은 [LevitImageProcessor.__call__()](/docs/transformers/main/ko/model_doc/molmo2#transformers.Molmo2ImageProcessor.__call__)를 참조하세요 (`processor_class`는 이미지 처리에 [LevitImageProcessor](/docs/transformers/main/ko/model_doc/levit#transformers.LevitImageProcessor)를 사용합니다). output_hidden_states (`bool`, *선택 사항*) : 모든 레이어의 hidden states를 반환할지 여부. 자세한 내용은 반환되는 텐서 중 `hidden_states` 항목을 참조하세요. return_dict (`bool`, *선택 사항*) : 일반 튜플 대신 [ModelOutput](/docs/transformers/main/ko/main_classes/output#transformers.utils.ModelOutput)를 반환할지 여부. **반환값:** `LevitForImageClassificationWithTeacherOutput` 또는 `tuple(torch.Tensor)` `LevitForImageClassificationWithTeacherOutput` 또는 `torch.Tensor`의 튜플(`return_dict=False`가 전달되었거나 `config.return_dict=False`인 경우)로, 구성([LevitConfig](/docs/transformers/main/ko/model_doc/levit#transformers.LevitConfig))과 입력에 따라 다양한 요소를 포함합니다. [LevitForImageClassificationWithTeacher](/docs/transformers/main/ko/model_doc/levit#transformers.LevitForImageClassificationWithTeacher)의 forward 메서드는 `__call__` 특수 메서드를 오버라이드합니다. `Module` 인스턴스는 전처리 및 후처리 단계를 실행하는 것을 처리하지만, 이 함수는 해당 단계를 조용히 무시하므로, 순전파(forward pass) 레시피를 이 함수 내에서 정의해야 하더라도 이후에는 이 함수 대신 `Module` 인스턴스를 호출해야 합니다. - **logits** (`torch.Tensor`, shape `(batch_size, config.num_labels)`) -- `cls_logits`와 `distillation_logits`의 평균으로 계산된 예측 점수. - **cls_logits** (`torch.Tensor`, shape `(batch_size, config.num_labels)`) -- 분류 헤드(즉, class token의 최종 hidden state 위에 있는 선형 레이어)의 예측 점수입니다. - **distillation_logits** (shape가 `(batch_size, config.num_labels)`인 `torch.Tensor`) -- 디스틸레이션 헤드의 예측 점수(즉, 디스틸레이션 토큰의 최종 hidden state 위에 있는 선형 레이어). - **hidden_states** (`tuple[torch.Tensor]`, *선택*, `output_hidden_states=True`가 전달되었거나 `config.output_hidden_states=True`인 경우 반환됨) -- `torch.Tensor`의 튜플(모델에 임베딩 레이어가 있는 경우 임베딩 출력용 1개 + 각 레이어의 출력용 1개)로, 모양은 `(batch_size, sequence_length, hidden_size)`입니다. 각 레이어의 출력에서 모델의 Hidden-states와 선택적 초기 임베딩 출력을 포함합니다. 예: ```python >>> from transformers import AutoImageProcessor, LevitForImageClassificationWithTeacher >>> import torch >>> from datasets import load_dataset >>> dataset = load_dataset("huggingface/cats-image") >>> image = dataset["test"]["image"][0] >>> image_processor = AutoImageProcessor.from_pretrained("facebook/levit-128S") >>> model = LevitForImageClassificationWithTeacher.from_pretrained("facebook/levit-128S") >>> inputs = image_processor(image, return_tensors="pt") >>> with torch.no_grad(): ... logits = model(**inputs).logits >>> # model predicts one of the 1000 ImageNet classes >>> predicted_label = logits.argmax(-1).item() >>> print(model.config.id2label[predicted_label]) ... ```