# 로딩 방법

데이터셋 목록 조회 및 로드 방법:

## 데이터셋[[datasets.load_dataset]]

#### datasets.load_dataset[[datasets.load_dataset]]

```python
datasets.load_dataset(path: str, name: typing.Optional[str] = None, data_dir: typing.Optional[str] = None, data_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = None, split: typing.Union[str, datasets.splits.Split, list[str], list[datasets.splits.Split], NoneType] = None, cache_dir: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, download_config: typing.Optional[datasets.download.download_config.DownloadConfig] = None, download_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = None, verification_mode: typing.Union[datasets.utils.info_utils.VerificationMode, str, NoneType] = None, keep_in_memory: typing.Optional[bool] = None, save_infos: bool = False, revision: typing.Union[datasets.utils.version.Version, str, NoneType] = None, token: typing.Union[bool, str, NoneType] = None, streaming: bool = False, num_proc: typing.Optional[int] = None, storage_options: typing.Optional[dict] = None, **config_kwargs)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/load.py#L1446)

**매개변수:**

path (`str`) : 데이터셋의 경로 또는 이름. - `path`가 HF hub의 데이터셋 저장소인 경우(`huggingface_hub.list_datasets`로 사용 가능한 모든 데이터셋을 나열할 수 있음) -> 저장소의 지원되는 파일(csv, json, parquet 등)에서 데이터셋을 로드합니다. 예: `'username/dataset_name'`, 데이터 파일을 포함하는 HF hub의 데이터셋 저장소. - `path`가 HF Hub의 Storage Bucket 내의 디렉터리인 경우(`huggingface_hub.list_buckets`로 내 버킷을 나열할 수 있음) -> 디렉터리의 지원되는 파일(csv, json, parquet 등)에서 데이터셋을 로드합니다. 예: `'buckets/username/bucket_name/my_dataset'`. - `path`가 로컬 디렉터리인 경우 -> 디렉터리의 지원되는 파일(csv, json, parquet 등)에서 데이터셋을 로드합니다. 예: `'./path/to/directory/with/my/csv/data'`. - `path`가 데이터셋 빌더의 이름이고 `data_files` 또는 `data_dir`이 지정된 경우(사용 가능한 빌더는 "json", "csv", "parquet", "arrow", "text", "xml", "webdataset", "imagefolder", "audiofolder", "videofolder", "meshfolder"입니다) -> `data_files` 또는 `data_dir`의 파일에서 데이터셋을 로드합니다. 예: `'parquet'`. 원격만 허용하려면 `hf://` 경로, 예: `'hf://datasets/username/dataset_name'`를 사용하세요. 로컬만 허용하려면 절대 경로를 사용하세요.

name (`str`, *선택 사항*) : 데이터셋 구성의 이름을 정의합니다.

data_dir (`str`, *선택 사항*) : 데이터셋 구성의 `data_dir`를 정의합니다. 일반 빌더(csv, text 등)나 Hub 데이터셋에 대해 지정되고 `data_files`가 `None`인 경우, `data_files`로 `os.path.join(data_dir, **)`를 전달하여 디렉터리 내 모든 파일을 참조하는 것과 동일한 동작을 합니다.

data_files (`str` 또는 `Sequence` 또는 `Mapping`, *선택 사항*) : 소스 데이터 파일의 경로(들).

split (`Split` 또는 `str`) : 로드할 데이터의 분할입니다. `None`인 경우, 모든 분할(일반적으로 `datasets.Split.TRAIN`과 `datasets.Split.TEST`)을 포함하는 `dict`를 반환합니다. 값이 지정된 경우, 단일 Dataset을 반환합니다. 분할은 tensorflow-datasets와 유사하게 결합 및 지정할 수 있습니다.

cache_dir (`str`, *선택 사항*) : 데이터를 읽기/쓰기 위한 디렉터리입니다. 기본값은 `"~/.cache/huggingface/datasets"`입니다.

features (`Features`, *선택 사항*) : 이 데이터셋에 사용할 features 유형을 설정합니다.

download_config ([DownloadConfig](/docs/datasets/main/ko/package_reference/builder_classes#datasets.DownloadConfig), *선택 사항*) : 특정 다운로드 구성 매개변수.

download_mode ([DownloadMode](/docs/datasets/main/ko/package_reference/builder_classes#datasets.DownloadMode) 또는 `str`, 기본값 `REUSE_DATASET_IF_EXISTS`) : 다운로드/생성 모드.

verification_mode ([VerificationMode](/docs/datasets/main/ko/package_reference/builder_classes#datasets.VerificationMode) 또는 `str`, 기본값 `BASIC_CHECKS`) : 다운로드/처리된 데이터셋 정보(체크섬/크기/스플릿 등)에 대해 실행할 검사를 결정하는 검증 모드입니다.

keep_in_memory (`bool`, 기본값은 `None`) : 데이터셋을 메모리에 복사할지 여부입니다. `None`인 경우, `datasets.config.IN_MEMORY_MAX_SIZE`를 0이 아닌 값으로 설정하여 명시적으로 활성화하지 않는 한 데이터셋은 메모리에 복사되지 않습니다. 자세한 내용은 [성능 개선](../cache#improve-performance) 섹션을 참조하세요.

revision ([Version](/docs/datasets/main/ko/package_reference/builder_classes#datasets.Version) 또는 `str`, *optional*) : 로드할 데이터셋의 버전입니다. 데이터셋은 Datasets Hub에 자체 git 저장소를 가지므로, 기본 버전 "main"은 해당 "main" 브랜치를 나타냅니다. 데이터셋 저장소의 commit SHA 또는 git 태그를 사용하여 기본 "main"과 다른 버전을 지정할 수 있습니다.

token (`str` 또는 `bool`, *선택 사항*) : Datasets Hub의 원격 파일에 사용할 Bearer 토큰으로 사용할 선택적 문자열 또는 불리언 값입니다. `True`이거나 지정되지 않은 경우 `"~/.huggingface"`에서 토큰을 가져옵니다.

streaming (`bool`, 기본값은 `False`) : `True`로 설정하면 데이터 파일을 다운로드하지 않습니다. 대신 데이터셋을 반복하는 동안 데이터를 점진적으로 스트리밍합니다. 이 경우 대신 [IterableDataset](/docs/datasets/main/ko/package_reference/main_classes#datasets.IterableDataset) 또는 [IterableDatasetDict](/docs/datasets/main/ko/package_reference/main_classes#datasets.IterableDatasetDict)가 반환됩니다. 스트리밍은 txt, csv, jsonl처럼 반복이 가능한 데이터 포맷을 사용하는 데이터셋에서 작동합니다. Json 파일은 완전히 다운로드될 수 있습니다. 또한 원격 zip 또는 gzip 파일에서 스트리밍은 지원되지만 rar, xz와 같은 다른 압축 포맷은 아직 지원되지 않습니다. tgz 포맷은 스트리밍을 지원하지 않습니다.

num_proc (`int`, *선택 사항*, 기본값 `None`) : 데이터셋을 로컬로 다운로드하고 생성할 때 사용할 프로세스 수입니다. 기본적으로 멀티프로세싱은 비활성화되어 있습니다.

storage_options (`dict`, *선택 사항*, 기본값 `None`) : **실험적**. 데이터셋 파일 시스템 백엔드에 전달할 키/값 쌍(있는 경우).

- ****config_kwargs** (추가 키워드 인자): `BuilderConfig`에 전달되고 [DatasetBuilder](/docs/datasets/main/ko/package_reference/builder_classes#datasets.DatasetBuilder)에서 사용되는 키워드 인자입니다.

**반환값:** [Dataset](/docs/datasets/main/ko/package_reference/main_classes#datasets.Dataset) 또는 [DatasetDict](/docs/datasets/main/ko/package_reference/main_classes#datasets.DatasetDict)

- `split`이 `None`이 아닌 경우: 요청한 데이터셋,
- `split`이 `None`인 경우, 각 split을 가진 [DatasetDict](/docs/datasets/main/ko/package_reference/main_classes#datasets.DatasetDict)

또는 [IterableDataset](/docs/datasets/main/ko/package_reference/main_classes#datasets.IterableDataset) 또는 [IterableDatasetDict](/docs/datasets/main/ko/package_reference/main_classes#datasets.IterableDatasetDict): `streaming=True`인 경우

- `split`이 `None`이 아닌 경우, 데이터셋이 요청됩니다
- `split`이 `None`인 경우, 각 split을 가진 `~datasets.streaming.IterableDatasetDict`를 반환합니다.

Hugging Face Hub에서 데이터셋을 로드하거나, 로컬 데이터셋을 로드합니다.

[Hub](https://huggingface.co/datasets)에서 또는 `huggingface_hub.list_datasets`를 사용하여 데이터셋 목록을 찾을 수 있습니다.

데이터셋은 JSON, CSV, Parquet 등 일반적인 형식의 데이터 파일과 Webdataset, ImageFolder, AudioFolder, VideoFolder, MeshFolder 등 일반적인 구조를 포함하는 디렉터리입니다.

이 함수는 내부적으로 다음 작업을 수행합니다:

1. 데이터셋 빌더 로드:

   * 데이터셋에서 가장 일반적인 데이터 형식을 찾아 해당 빌더(JSON, CSV, Parquet, Webdataset, ImageFolder, AudioFolder, MeshFolder 등)를 선택합니다.
   * …
   * `data_files`를 수동으로 지정하고 사용할 dataset builder(예: "parquet")를 지정할 수도 있습니다.

2. 데이터셋 빌더를 실행합니다:

   일반적인 경우:

   * 로컬에 이미 존재하거나 캐시되지 않은 경우, 데이터셋에서 데이터 파일을 다운로드합니다.
   * Arrow 테이블 형식으로 데이터셋을 처리하고 캐싱을 위해 캐시에 저장합니다.

     Arrow 테이블은 임의의 길이를 가진 타입 지정 테이블로, 중첩된 객체를 저장할 수 있으며 numpy/pandas/python의 일반 타입으로 매핑할 수 있습니다. 디스크에서 직접 액세스하거나 RAM에 로드하거나 웹을 통해 스트리밍할 수도 있습니다.

   스트리밍의 경우:

   * download하거나 캐시를 생성하지 않습니다. 대신 데이터셋은 지연 로드(lazy loading)되며, 반복(iteration)하는 시점에 온더플라이(on-the-fly)로 스트리밍됩니다.

3. `split`에서 요청한 스플릿(기본값: 전체)으로 구성된 데이터셋을 반환합니다.

예:

Hugging Face Hub에서 데이터셋을 로드합니다:

```py
>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train')

# Load a subset or dataset configuration (here 'sst2')
>>> from datasets import load_dataset
>>> ds = load_dataset('nyu-mll/glue', 'sst2', split='train')

# Manual mapping of data files to splits
>>> data_files = {'train': 'train.csv', 'test': 'test.csv'}
>>> ds = load_dataset('namespace/your_dataset_name', data_files=data_files)

# Manual selection of a directory to load
>>> ds = load_dataset('namespace/your_dataset_name', data_dir='folder_name')
```

Hugging Face Hub의 Storage Bucket에서 데이터셋을 로드합니다:

```py
>>> from datasets import load_dataset
>>> ds = load_dataset('buckets/username/bucket_name/rotten_tomatoes', split='train')
```

로컬 데이터셋 로드:

```py
# Load a CSV file
>>> from datasets import load_dataset
>>> ds = load_dataset('csv', data_files='path/to/local/my_dataset.csv')

# Load a JSON file
>>> from datasets import load_dataset
>>> ds = load_dataset('json', data_files='path/to/local/my_dataset.json')
```

[IterableDataset](/docs/datasets/main/ko/package_reference/main_classes#datasets.IterableDataset)를 로드합니다:

```py
>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train', streaming=True)
```

`ImageFolder` 데이터셋 빌더로 이미지 데이터셋을 로드합니다:

```py
>>> from datasets import load_dataset
>>> ds = load_dataset('imagefolder', data_dir='/path/to/images', split='train')
```

#### datasets.load_from_disk[[datasets.load_from_disk]]

```python
datasets.load_from_disk(dataset_path: typing.Union[str, bytes, os.PathLike], keep_in_memory: typing.Optional[bool] = None, storage_options: typing.Optional[dict] = None)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/load.py#L1704)

**매개변수:**

dataset_path (`path-like`) : [Dataset](/docs/datasets/main/ko/package_reference/main_classes#datasets.Dataset) 또는 [DatasetDict](/docs/datasets/main/ko/package_reference/main_classes#datasets.DatasetDict) 디렉터리의 경로 (예: `"dataset/train"`) 또는 원격 URI (예: `"s3://my-bucket/dataset/train"`)로, 데이터셋/데이터셋 딕셔너리를 로드할 위치를 지정합니다.

keep_in_memory (`bool`, 기본값은 `None`) : 데이터셋을 메모리에 복사할지 여부입니다. `None`인 경우, `datasets.config.IN_MEMORY_MAX_SIZE`를 0이 아닌 값으로 설정하여 명시적으로 활성화하지 않는 한 데이터셋은 메모리에 복사되지 않습니다. 자세한 내용은 [성능 개선](../cache#improve-performance) 섹션을 참조하세요.

storage_options (`dict`, *선택 사항*) : 파일 시스템 백엔드에 전달할 키/값 쌍입니다.

**반환값:** [Dataset](/docs/datasets/main/ko/package_reference/main_classes#datasets.Dataset) 또는 [DatasetDict](/docs/datasets/main/ko/package_reference/main_classes#datasets.DatasetDict)

- `dataset_path`가 데이터셋 디렉터리의 경로인 경우: 요청한 데이터셋.
- `dataset_path`가 데이터셋 dict 디렉토리의 경로인 경우, 각 split을 가진 [DatasetDict](/docs/datasets/main/ko/package_reference/main_classes#datasets.DatasetDict)입니다.

이전에는 [save_to_disk()](/docs/datasets/main/ko/package_reference/main_classes#datasets.Dataset.save_to_disk)를 사용하여 저장된 데이터셋을 데이터셋 디렉터리 또는 `fsspec.spec.AbstractFileSystem`의 어떤 구현을 사용하는 파일 시스템에서 로드합니다.

예:

```py
>>> from datasets import load_from_disk
>>> ds = load_from_disk('path/to/dataset/directory')
```

#### datasets.load_dataset_builder[[datasets.load_dataset_builder]]

```python
datasets.load_dataset_builder(path: str, name: typing.Optional[str] = None, data_dir: typing.Optional[str] = None, data_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = None, cache_dir: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, download_config: typing.Optional[datasets.download.download_config.DownloadConfig] = None, download_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = None, revision: typing.Union[datasets.utils.version.Version, str, NoneType] = None, token: typing.Union[bool, str, NoneType] = None, storage_options: typing.Optional[dict] = None, **config_kwargs)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/load.py#L1187)

**매개변수:**

path (`str`) : 데이터셋의 경로 또는 이름. - `path`가 HF hub의 데이터셋 저장소인 경우(`huggingface_hub.list_datasets`로 사용 가능한 모든 데이터셋을 나열할 수 있음) -> 저장소의 지원되는 파일(csv, json, parquet 등)에서 데이터셋 빌더를 로드합니다. 예: `'username/dataset_name'`, 데이터 파일을 포함하는 HF hub의 데이터셋 저장소. - `path`가 HF Hub의 Storage Bucket 내의 디렉터리인 경우(`huggingface_hub.list_buckets`로 내 버킷을 나열할 수 있음) -> 디렉터리의 지원되는 파일(csv, json, parquet 등)에서 데이터셋을 로드합니다. 예: `'buckets/username/bucket_name/my_dataset'`. - `path`가 로컬 디렉터리인 경우 -> 디렉터리의 지원되는 파일(csv, json, parquet 등)에서 데이터셋 빌더를 로드합니다. 예: `'./path/to/directory/with/my/csv/data'`. - `path`가 데이터셋 빌더의 이름이고 `data_files` 또는 `data_dir`이 지정된 경우(사용 가능한 빌더는 "json", "csv", "parquet", "arrow", "text", "xml", "webdataset", "imagefolder", "audiofolder", "videofolder", "meshfolder"입니다) -> `data_files` 또는 `data_dir`의 파일에서 데이터셋 빌더를 로드합니다. 예: `'parquet'`. 원격만 허용하려면 `hf://` 경로, 예: `'hf://datasets/username/dataset_name'`를 사용하세요. 로컬만 허용하려면 절대 경로를 사용하세요.

name (`str`, *선택 사항*) : 데이터셋 구성의 이름을 정의합니다.

data_dir (`str`, *선택 사항*) : 데이터셋 구성의 `data_dir`를 정의합니다. 일반 빌더(csv, text 등)나 Hub 데이터셋에 대해 지정되고 `data_files`가 `None`인 경우, `data_files`로 `os.path.join(data_dir, **)`를 전달하여 디렉터리 내 모든 파일을 참조하는 것과 동일한 동작을 합니다.

data_files (`str` 또는 `Sequence` 또는 `Mapping`, *선택 사항*) : 소스 데이터 파일의 경로(들).

cache_dir (`str`, *선택 사항*) : 데이터를 읽기/쓰기 위한 디렉터리입니다. 기본값은 `"~/.cache/huggingface/datasets"`입니다.

features ([Features](/docs/datasets/main/ko/package_reference/main_classes#datasets.Features), *선택 사항*) : 이 데이터셋에 사용할 features 유형을 설정합니다.

download_config ([DownloadConfig](/docs/datasets/main/ko/package_reference/builder_classes#datasets.DownloadConfig), *선택 사항*) : 특정 다운로드 구성 매개변수.

download_mode ([DownloadMode](/docs/datasets/main/ko/package_reference/builder_classes#datasets.DownloadMode) 또는 `str`, 기본값 `REUSE_DATASET_IF_EXISTS`) : 다운로드/생성 모드.

revision ([Version](/docs/datasets/main/ko/package_reference/builder_classes#datasets.Version) 또는 `str`, *optional*) : 로드할 데이터셋의 버전입니다. 데이터셋은 Datasets Hub에 자체 git 저장소를 가지므로, 기본 버전 "main"은 해당 "main" 브랜치를 나타냅니다. 데이터셋 저장소의 commit SHA 또는 git 태그를 사용하여 기본 "main"과 다른 버전을 지정할 수 있습니다.

token (`str` 또는 `bool`, *선택 사항*) : Datasets Hub의 원격 파일에 사용할 Bearer 토큰으로 사용할 선택적 문자열 또는 불리언 값입니다. `True`이거나 지정되지 않은 경우 `"~/.huggingface"`에서 토큰을 가져옵니다.

storage_options (`dict`, *선택 사항*, 기본값 `None`) : **실험적**. 데이터셋 파일 시스템 백엔드에 전달할 키/값 쌍(있는 경우).

- ****config_kwargs** (추가 키워드 인자) : [BuilderConfig](/docs/datasets/main/ko/package_reference/builder_classes#datasets.BuilderConfig)에 전달되고 [DatasetBuilder](/docs/datasets/main/ko/package_reference/builder_classes#datasets.DatasetBuilder)에서 사용되는 키워드 인자입니다.

**반환값:**

[DatasetBuilder](/docs/datasets/main/ko/package_reference/builder_classes#datasets.DatasetBuilder)

다음 용도로 사용할 수 있는 데이터셋 빌더를 로드합니다:

- 데이터셋을 구축하는 데 필요한 일반 정보(캐시 디렉터리, 구성, 데이터셋 정보, 기능, 데이터 파일 등)를 검사합니다
- Arrow 파일 형식으로 데이터셋을 다운로드하고 캐시에 준비합니다
- 다운로드나 캐싱 없이 스트리밍 데이터셋을 가져오기

[Hub](https://huggingface.co/datasets)에서 또는 `huggingface_hub.list_datasets`를 사용하여 데이터셋 목록을 찾을 수 있습니다.

데이터셋은 JSON, CSV, Parquet 등 일반적인 형식의 데이터 파일과 Webdataset, ImageFolder, AudioFolder, VideoFolder, MeshFolder 등 일반적인 구조를 포함하는 디렉터리입니다.

예:

```py
>>> from datasets import load_dataset_builder
>>> ds_builder = load_dataset_builder('cornell-movie-review-data/rotten_tomatoes')
>>> ds_builder.info.features
{'label': ClassLabel(names=['neg', 'pos']),
 'text': Value('string')}
```

#### datasets.get_dataset_config_names[[datasets.get_dataset_config_names]]

```python
datasets.get_dataset_config_names(path: str, revision: typing.Union[datasets.utils.version.Version, str, NoneType] = None, download_config: typing.Optional[datasets.download.download_config.DownloadConfig] = None, download_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = None, data_files: typing.Union[str, list, dict, NoneType] = None, **download_kwargs)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/inspect.py#L109)

**매개변수:**

path (`str`) : 데이터셋 저장소 경로. 다음 중 하나일 수 있습니다: - 데이터 파일을 포함하는 데이터셋 디렉토리의 로컬 경로, 예: `'./dataset/squad'` - Hugging Face Hub의 데이터셋 식별자(`huggingface_hub.list_datasets`로 사용 가능한 모든 데이터셋과 id를 나열할 수 있음), 예: `'rajpurkar/squad'`, `'nyu-mll/glue'` 또는 `'openai/webtext'`

revision (`Union[str, datasets.Version]`, *선택*) : 지정된 경우, 해당 버전의 datasets 저장소에서 dataset 모듈이 로드됩니다. 기본값: - lib의 로컬 버전으로 설정됩니다. - lib의 로컬 버전에서 사용할 수 없는 경우 main branch에서 로드하려고 시도합니다. lib의 로컬 버전과 다른 버전을 지정하면 호환성 문제가 발생할 수 있습니다.

download_config ([DownloadConfig](/docs/datasets/main/ko/package_reference/builder_classes#datasets.DownloadConfig), *선택 사항*) : 특정 다운로드 구성 매개변수.

download_mode ([DownloadMode](/docs/datasets/main/ko/package_reference/builder_classes#datasets.DownloadMode) 또는 `str`, 기본값 `REUSE_DATASET_IF_EXISTS`) : 다운로드/생성 모드.

data_files (`Union[Dict, List, str]`, *선택 사항*) : dataset 구성의 data_files를 정의합니다.

- ****download_kwargs** (추가 키워드 인자): `download_config`의 속성을 덮어쓸 수 있는 [DownloadConfig](/docs/datasets/main/ko/package_reference/builder_classes#datasets.DownloadConfig)의 선택적 속성입니다. 예를 들어 `token` 등이 있습니다.

특정 데이터셋에 대해 사용 가능한 config 이름 목록을 가져옵니다.

예:

```py
>>> from datasets import get_dataset_config_names
>>> get_dataset_config_names("nyu-mll/glue")
['cola',
 'sst2',
 'mrpc',
 'qqp',
 'stsb',
 'mnli',
 'mnli_mismatched',
 'mnli_matched',
 'qnli',
 'rte',
 'wnli',
 'ax']
```

#### datasets.get_dataset_infos[[datasets.get_dataset_infos]]

```python
datasets.get_dataset_infos(path: str, data_files: typing.Union[str, list, dict, NoneType] = None, download_config: typing.Optional[datasets.download.download_config.DownloadConfig] = None, download_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = None, revision: typing.Union[datasets.utils.version.Version, str, NoneType] = None, token: typing.Union[bool, str, NoneType] = None, **config_kwargs)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/inspect.py#L42)

**매개변수:**

path (`str`) : 데이터셋 저장소 경로. 다음 중 하나일 수 있습니다: - 데이터 파일을 포함하는 데이터셋 디렉토리의 로컬 경로, 예: `'./dataset/squad'` - Hugging Face Hub의 데이터셋 식별자(`huggingface_hub.list_datasets`로 사용 가능한 모든 데이터셋과 id를 나열할 수 있음), 예: `'rajpurkar/squad'`, `'nyu-mll/glue'` 또는 `'openai/webtext'`

revision (`Union[str, datasets.Version]`, *선택*) : 지정된 경우, 해당 버전의 datasets 저장소에서 dataset 모듈이 로드됩니다. 기본값: - lib의 로컬 버전으로 설정됩니다. - lib의 로컬 버전에서 사용할 수 없는 경우 main branch에서 로드하려고 시도합니다. lib의 로컬 버전과 다른 버전을 지정하면 호환성 문제가 발생할 수 있습니다.

download_config ([DownloadConfig](/docs/datasets/main/ko/package_reference/builder_classes#datasets.DownloadConfig), *선택 사항*) : 특정 다운로드 구성 매개변수.

download_mode ([DownloadMode](/docs/datasets/main/ko/package_reference/builder_classes#datasets.DownloadMode) 또는 `str`, 기본값 `REUSE_DATASET_IF_EXISTS`) : 다운로드/생성 모드.

data_files (`Union[Dict, List, str]`, *선택 사항*) : dataset 구성의 data_files를 정의합니다.

token (`str` 또는 `bool`, *선택 사항*) : Datasets Hub의 원격 파일에 사용할 Bearer 토큰으로 사용할 선택적 문자열 또는 불리언 값입니다. `True`이거나 지정되지 않은 경우 `"~/.huggingface"`에서 토큰을 가져옵니다.

- ****config_kwargs** (추가 키워드 인자): 제공될 경우 해당 속성을 오버라이드하는 빌더 클래스의 선택적 속성입니다.

DatasetInfoDict으로 config 이름을 매핑하는 dict로 반환되는 데이터셋의 메타 정보를 가져옵니다.

예:

```py
>>> from datasets import get_dataset_infos
>>> get_dataset_infos('cornell-movie-review-data/rotten_tomatoes')
{'default': DatasetInfo(description="Movie Review Dataset.
 is a dataset of containing 5,331 positive and 5,331 negative processed
ences from Rotten Tomatoes movie reviews...), ...}
```

#### datasets.get_dataset_split_names[[datasets.get_dataset_split_names]]

```python
datasets.get_dataset_split_names(path: str, config_name: typing.Optional[str] = None, data_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = None, download_config: typing.Optional[datasets.download.download_config.DownloadConfig] = None, download_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = None, revision: typing.Union[datasets.utils.version.Version, str, NoneType] = None, token: typing.Union[bool, str, NoneType] = None, **config_kwargs)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/inspect.py#L295)

**매개변수:**

path (`str`) : 데이터셋 저장소 경로. 다음 중 하나일 수 있습니다: - 데이터 파일을 포함하는 데이터셋 디렉토리의 로컬 경로, 예: `'./dataset/squad'` - Hugging Face Hub의 데이터셋 식별자(`huggingface_hub.list_datasets`로 사용 가능한 모든 데이터셋과 id를 나열할 수 있음), 예: `'rajpurkar/squad'`, `'nyu-mll/glue'` 또는 `'openai/webtext'`

config_name (`str`, *선택 사항*) : 데이터셋 구성의 이름을 정의합니다.

data_files (`str` 또는 `Sequence` 또는 `Mapping`, *선택 사항*) : 소스 데이터 파일의 경로(들).

download_config ([DownloadConfig](/docs/datasets/main/ko/package_reference/builder_classes#datasets.DownloadConfig), *선택 사항*) : 특정 다운로드 구성 매개변수.

download_mode ([DownloadMode](/docs/datasets/main/ko/package_reference/builder_classes#datasets.DownloadMode) 또는 `str`, 기본값 `REUSE_DATASET_IF_EXISTS`) : 다운로드/생성 모드.

revision ([Version](/docs/datasets/main/ko/package_reference/builder_classes#datasets.Version) 또는 `str`, *optional*) : 로드할 데이터셋의 버전입니다. 데이터셋은 Datasets Hub에 자체 git 저장소를 가지므로, 기본 버전 "main"은 해당 "main" 브랜치를 나타냅니다. 데이터셋 저장소의 commit SHA 또는 git 태그를 사용하여 기본 "main"과 다른 버전을 지정할 수 있습니다.

token (`str` 또는 `bool`, *선택 사항*) : Datasets Hub의 원격 파일에 사용할 Bearer 토큰으로 사용할 선택적 문자열 또는 불리언 값입니다. `True`이거나 지정되지 않은 경우 `"~/.huggingface"`에서 토큰을 가져옵니다.

- ****config_kwargs** (추가 키워드 인자): 제공될 경우 해당 속성을 오버라이드하는 빌더 클래스의 선택적 속성입니다.

…

예:

```py
>>> from datasets import get_dataset_split_names
>>> get_dataset_split_names('cornell-movie-review-data/rotten_tomatoes')
['train', 'validation', 'test']
```

## 파일에서

데이터 파일을 로드하는 데 사용되는 구성입니다. 로컬 파일 또는 데이터셋 저장소를 로드할 때 사용됩니다:

- 로컬 파일: `load_dataset("parquet", data_dir="path/to/data/dir")`
- dataset 저장소: `load_dataset("allenai/c4")`

`load_dataset`에 인수를 전달하여 데이터 로딩을 구성할 수 있습니다. 예를 들어 `sep` 매개변수를 지정하여 데이터를 로딩하는 데 사용되는 [CsvConfig](/docs/datasets/main/ko/package_reference/loading_methods#datasets.packaged_modules.csv.CsvConfig)를 정의할 수 있습니다:

```python
load_dataset("csv", data_dir="path/to/data/dir", sep="\t")
```

### 텍스트[[datasets.packaged_modules.text.TextConfig]]

#### datasets.packaged_modules.text.TextConfig[[datasets.packaged_modules.text.TextConfig]]

```python
datasets.packaged_modules.text.TextConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, encoding: str = 'utf-8', encoding_errors: typing.Optional[str] = None, chunksize: int = 10485760, keep_linebreaks: bool = False, sample_by: typing.Literal['line', 'paragraph', 'document'] = 'line')
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/text/text.py#L17)

**매개변수:**

features : (`Features`, *선택 사항*): 데이터를 `features`로 변환합니다.

encoding : (`str`, 기본값 "utf-8"): 파일을 디코딩할 인코딩.

encoding_errors : (`str`, *선택 사항*): 인코딩 오류 발생 시 수행할 작업을 정의하는 인자. 이는 `open()`의 `error` 인자와 동일합니다.

chunksize : (`Features`, *선택 사항*, 기본값 "10MB"): 데이터를 읽을 때 사용할 청크 크기.

keep_linebreaks : (`bool`, 기본값 False): 줄바꿈을 유지할지 여부.

sample_by (`Literal["line", "paragraph", "document"]`, 기본값은 "line") : 데이터를 줄, 문단 또는 문서 단위로 로드할지 여부입니다. 기본적으로 데이터셋의 한 행은 한 줄을 나타냅니다.

텍스트 파일용 BuilderConfig.

#### datasets.packaged_modules.text.Text[[datasets.packaged_modules.text.Text]]

```python
datasets.packaged_modules.text.Text(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/text/text.py#L45)

### CSV[[datasets.packaged_modules.csv.CsvConfig]]

#### datasets.packaged_modules.csv.CsvConfig[[datasets.packaged_modules.csv.CsvConfig]]

```python
datasets.packaged_modules.csv.CsvConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, sep: str = ',', delimiter: typing.Optional[str] = None, header: typing.Union[int, list[int], str, NoneType] = 'infer', names: typing.Optional[list[str]] = None, column_names: typing.Optional[list[str]] = None, index_col: typing.Union[int, str, list[int], list[str], NoneType] = None, usecols: typing.Union[list[int], list[str], NoneType] = None, prefix: typing.Optional[str] = None, mangle_dupe_cols: bool = True, engine: typing.Optional[typing.Literal['c', 'python', 'pyarrow']] = None, converters: dict = None, true_values: typing.Optional[list] = None, false_values: typing.Optional[list] = None, skipinitialspace: bool = False, skiprows: typing.Union[int, list[int], NoneType] = None, nrows: typing.Optional[int] = None, na_values: typing.Union[str, list[str], NoneType] = None, keep_default_na: bool = True, na_filter: bool = True, verbose: bool = False, skip_blank_lines: bool = True, thousands: typing.Optional[str] = None, decimal: str = '.', lineterminator: typing.Optional[str] = None, quotechar: str = '"', quoting: int = 0, escapechar: typing.Optional[str] = None, comment: typing.Optional[str] = None, encoding: typing.Optional[str] = None, dialect: typing.Optional[str] = None, error_bad_lines: bool = True, warn_bad_lines: bool = True, skipfooter: int = 0, doublequote: bool = True, memory_map: bool = False, float_precision: typing.Optional[str] = None, chunksize: int = 10000, features: typing.Optional[datasets.features.features.Features] = None, encoding_errors: typing.Optional[str] = 'strict', on_bad_lines: typing.Literal['error', 'warn', 'skip'] = 'error', date_format: typing.Optional[str] = None)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/csv/csv.py#L25)

CSV용 BuilderConfig.

#### datasets.packaged_modules.csv.Csv[[datasets.packaged_modules.csv.Csv]]

```python
datasets.packaged_modules.csv.Csv(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/csv/csv.py#L145)

### JSON[[datasets.packaged_modules.json.JsonConfig]]

#### datasets.packaged_modules.json.JsonConfig[[datasets.packaged_modules.json.JsonConfig]]

```python
datasets.packaged_modules.json.JsonConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, encoding: str = 'utf-8', encoding_errors: typing.Optional[str] = None, field: typing.Optional[str] = None, use_threads: bool = True, block_size: typing.Optional[int] = None, chunksize: int = 10485760, newlines_in_values: typing.Optional[bool] = None, on_mixed_types: typing.Optional[typing.Literal['use_json']] = 'use_json', parse_agent_traces: bool = True)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/json/json.py#L46)

JSON용 BuilderConfig.

#### datasets.Json[[datasets.Json]]

```python
datasets.Json(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/json/json.py#L64)

### XML[[datasets.packaged_modules.xml.XmlConfig]]

#### datasets.packaged_modules.xml.XmlConfig[[datasets.packaged_modules.xml.XmlConfig]]

```python
datasets.packaged_modules.xml.XmlConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, encoding: str = 'utf-8', encoding_errors: typing.Optional[str] = None)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/xml/xml.py#L15)

xml 파일용 BuilderConfig.

#### datasets.packaged_modules.xml.Xml[[datasets.packaged_modules.xml.Xml]]

```python
datasets.packaged_modules.xml.Xml(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/xml/xml.py#L23)

### Parquet[[datasets.packaged_modules.parquet.ParquetConfig]]

#### datasets.packaged_modules.parquet.ParquetConfig[[datasets.packaged_modules.parquet.ParquetConfig]]

```python
datasets.packaged_modules.parquet.ParquetConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, batch_size: typing.Optional[int] = None, columns: typing.Optional[list[str]] = None, features: typing.Optional[datasets.features.features.Features] = None, filters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = None, fragment_scan_options: typing.Optional[pyarrow._dataset_parquet.ParquetFragmentScanOptions] = None, on_bad_files: typing.Literal['error', 'warn', 'skip'] = 'error')
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/parquet/parquet.py#L20)

**매개변수:**

batch_size (`int`, *선택 사항*) : 반복할 RecordBatches의 크기입니다. 기본값은 row group 크기(첫 번째 row group으로 정의됨)입니다.

columns (`list[str]`, *선택 사항*) : 로드할 열 목록입니다. 나머지 열은 무시됩니다. 기본적으로 모든 열이 로드됩니다.

features : (`Features`, *선택 사항*): 데이터를 `features`로 변환합니다.

filters (`Union[pyarrow.dataset.Expression, list[tuple], list[list[tuple]]]`, *선택 사항*) : 필터와 일치하는 행만 반환합니다. 가능하면 데이터 소스에서 발견되는 파티션 정보나 내부 메타데이터(예: Parquet 통계)를 활용하기 위해 조건을 아래로 전달(push down)합니다. 그렇지 않으면 RecordBatches를 로드한 후 반환하기 전에 필터링합니다.

fragment_scan_options (`pyarrow.dataset.ParquetFragmentScanOptions`, *선택 사항*) : Parquet 조각에 대한 스캔 전용 옵션입니다. 버퍼링 및 캐싱을 구성하는 데 특히 유용합니다.

on_bad_files (`Literal["error", "warn", "skip"]`, *선택 사항*, 기본값은 "error") : 읽을 수 없는 파일(잘못된 파일)을 만나면 어떻게 처리할지 지정합니다. 허용되는 값은 다음과 같습니다. * 'error': 잘못된 파일을 만나면 예외를 발생시킵니다. * 'warn': 잘못된 파일을 만나면 경고를 발생시키고 해당 파일을 건너뜁니다. * 'skip': 잘못된 파일을 만나면 경고나 예외 없이 건너뜁니다.

Parquet용 BuilderConfig.

예:

일부 열을 로드합니다:

```python
>>> ds = load_dataset(parquet_dataset_id, columns=["col_0", "col_1"])
```

데이터를 스트리밍하고, 전체 파일이나 row group을 건너뛰는 방식으로 데이터를 효율적으로 필터링합니다:

```python
>>> filters = [("col_0", "==", 0)]
>>> ds = load_dataset(parquet_dataset_id, streaming=True, filters=filters)
```

스트리밍 시 최소 요청 크기를 32MiB(기본값)에서 128MiB로 늘리고 사전 가져오기를 활성화합니다:

```python
>>> import pyarrow
>>> import pyarrow.dataset
>>> fragment_scan_options = pyarrow.dataset.ParquetFragmentScanOptions(
...     cache_options=pyarrow.CacheOptions(
...         prefetch_limit=1,
...         range_size_limit=128 << 20
...     ),
... )
>>> ds = load_dataset(parquet_dataset_id, streaming=True, fragment_scan_options=fragment_scan_options)
```

#### datasets.packaged_modules.parquet.Parquet[[datasets.packaged_modules.parquet.Parquet]]

```python
datasets.packaged_modules.parquet.Parquet(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/parquet/parquet.py#L93)

### Arrow[[datasets.packaged_modules.arrow.ArrowConfig]]

#### datasets.packaged_modules.arrow.ArrowConfig[[datasets.packaged_modules.arrow.ArrowConfig]]

```python
datasets.packaged_modules.arrow.ArrowConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/arrow/arrow.py#L15)

Arrow용 BuilderConfig.

#### datasets.packaged_modules.arrow.Arrow[[datasets.packaged_modules.arrow.Arrow]]

```python
datasets.packaged_modules.arrow.Arrow(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/arrow/arrow.py#L24)

### Vortex[[datasets.packaged_modules.vortex.VortexConfig]]

#### datasets.packaged_modules.vortex.VortexConfig[[datasets.packaged_modules.vortex.VortexConfig]]

```python
datasets.packaged_modules.vortex.VortexConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, batch_size: typing.Optional[int] = None, columns: typing.Optional[list[str]] = None, features: typing.Optional[datasets.features.features.Features] = None, filters: typing.Union[ForwardRef('vortex.expr.Expr'), list[tuple], list[list[tuple]], NoneType] = None, on_bad_files: typing.Literal['error', 'warn', 'skip'] = 'error')
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/vortex/vortex.py#L54)

**매개변수:**

batch_size (`int`, *선택 사항*) : 반복할 RecordBatches의 크기입니다. 기본값은 Vortex 스캐너에 의해 정의됩니다.

columns (`list[str]`, *선택 사항*) : 로드할 열 목록입니다. 나머지 열은 무시됩니다. 기본적으로 모든 열이 로드됩니다.

features : (`Features`, *선택 사항*): 데이터를 `features`로 변환합니다.

filters (`Union[vortex.expr.Expr, list[tuple], list[list[tuple]]]`, *선택 사항*) : 필터와 일치하는 행만 반환합니다. 조건식은 Vortex 스캔으로 푸시다운되어 일치하는 행만 읽힙니다. 튜플 목록(DNF, Parquet 로더가 허용하는 형식)으로 주어진 필터는 Vortex 표현식으로 변환됩니다. Null은 SQL 의미를 따르며, null은 어떤 비교도 만족하지 않으므로 필터링된 열이 null인 행은 절대 반환되지 않습니다. 참고로 `not in`는 null을 제거하지만, Parquet 로더는 `~field.isin(values)`를 구성하여 null이 집합에 포함되지 않으므로 null을 유지합니다.

on_bad_files (`Literal["error", "warn", "skip"]`, *선택 사항*, 기본값은 "error") : 읽을 수 없는 파일(잘못된 파일)을 만나면 어떻게 처리할지 지정합니다. 허용되는 값은 다음과 같습니다. * 'error': 잘못된 파일을 만나면 예외를 발생시킵니다. * 'warn': 잘못된 파일을 만나면 경고를 발생시키고 해당 파일을 건너뜁니다. * 'skip': 잘못된 파일을 만나면 경고나 예외 없이 건너뜁니다.

Vortex용 BuilderConfig.

예:

일부 열을 로드합니다:

```python
>>> ds = load_dataset(vortex_dataset_id, columns=["col_0", "col_1"])
```

데이터를 스트리밍하고, 가능할 경우 전체 파일이나 청크를 건너뛰어 데이터를 효율적으로 필터링합니다:

```python
>>> filters = [("col_0", "==", 0)]
>>> ds = load_dataset(vortex_dataset_id, streaming=True, filters=filters)
```

#### datasets.packaged_modules.vortex.Vortex[[datasets.packaged_modules.vortex.Vortex]]

```python
datasets.packaged_modules.vortex.Vortex(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/vortex/vortex.py#L226)

### SQL[[datasets.packaged_modules.sql.SqlConfig]]

#### datasets.packaged_modules.sql.SqlConfig[[datasets.packaged_modules.sql.SqlConfig]]

```python
datasets.packaged_modules.sql.SqlConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, sql: typing.Union[str, ForwardRef('sqlalchemy.sql.Selectable')] = None, con: typing.Union[str, ForwardRef('sqlalchemy.engine.Connection'), ForwardRef('sqlalchemy.engine.Engine'), ForwardRef('sqlite3.Connection')] = None, index_col: typing.Union[str, list[str], NoneType] = None, coerce_float: bool = True, params: typing.Union[list, tuple, dict, NoneType] = None, parse_dates: typing.Union[list, dict, NoneType] = None, columns: typing.Optional[list[str]] = None, chunksize: typing.Optional[int] = 10000, features: typing.Optional[datasets.features.features.Features] = None)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/sql/sql.py#L25)

SQL용 BuilderConfig.

#### datasets.packaged_modules.sql.Sql[[datasets.packaged_modules.sql.Sql]]

```python
datasets.packaged_modules.sql.Sql(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/sql/sql.py#L92)

### 이미지[[datasets.packaged_modules.imagefolder.ImageFolderConfig]]

#### datasets.packaged_modules.imagefolder.ImageFolderConfig[[datasets.packaged_modules.imagefolder.ImageFolderConfig]]

```python
datasets.packaged_modules.imagefolder.ImageFolderConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, drop_labels: bool = None, drop_metadata: bool = None, metadata_filenames: list = None, filters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = None, decode_num_threads: int = 32)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/imagefolder/imagefolder.py#L9)

ImageFolder의 BuilderConfig.

#### datasets.packaged_modules.imagefolder.ImageFolder[[datasets.packaged_modules.imagefolder.ImageFolder]]

```python
datasets.packaged_modules.imagefolder.ImageFolder(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/imagefolder/imagefolder.py#L19)

### 오디오[[datasets.packaged_modules.audiofolder.AudioFolderConfig]]

#### datasets.packaged_modules.audiofolder.AudioFolderConfig[[datasets.packaged_modules.audiofolder.AudioFolderConfig]]

```python
datasets.packaged_modules.audiofolder.AudioFolderConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, drop_labels: bool = None, drop_metadata: bool = None, metadata_filenames: list = None, filters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = None, decode_num_threads: int = 32)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/audiofolder/audiofolder.py#L9)

AudioFolder의 Builder Config.

#### datasets.packaged_modules.audiofolder.AudioFolder[[datasets.packaged_modules.audiofolder.AudioFolder]]

```python
datasets.packaged_modules.audiofolder.AudioFolder(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/audiofolder/audiofolder.py#L19)

### 비디오[[datasets.packaged_modules.videofolder.VideoFolderConfig]]

#### datasets.packaged_modules.videofolder.VideoFolderConfig[[datasets.packaged_modules.videofolder.VideoFolderConfig]]

```python
datasets.packaged_modules.videofolder.VideoFolderConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, drop_labels: bool = None, drop_metadata: bool = None, metadata_filenames: list = None, filters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = None, decode_num_threads: int = 32)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/videofolder/videofolder.py#L9)

ImageFolder의 BuilderConfig.

#### datasets.packaged_modules.videofolder.VideoFolder[[datasets.packaged_modules.videofolder.VideoFolder]]

```python
datasets.packaged_modules.videofolder.VideoFolder(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/videofolder/videofolder.py#L19)

### HDF5[[datasets.packaged_modules.hdf5.HDF5Config]]

#### datasets.packaged_modules.hdf5.HDF5Config[[datasets.packaged_modules.hdf5.HDF5Config]]

```python
datasets.packaged_modules.hdf5.HDF5Config(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, batch_size: typing.Optional[int] = None, features: typing.Optional[datasets.features.features.Features] = None)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/hdf5/hdf5.py#L33)

HDF5용 BuilderConfig.

#### datasets.packaged_modules.hdf5.HDF5[[datasets.packaged_modules.hdf5.HDF5]]

```python
datasets.packaged_modules.hdf5.HDF5(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/hdf5/hdf5.py#L40)

HF 확장 유형을 사용하여 HDF5 파일을 Arrow 테이블로 변환하는 ArrowBasedBuilder.

### TsFile[[datasets.packaged_modules.tsfile.TsFileConfig]]

#### datasets.packaged_modules.tsfile.TsFileConfig[[datasets.packaged_modules.tsfile.TsFileConfig]]

```python
datasets.packaged_modules.tsfile.TsFileConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, table_name: Optional[str] = None, columns: Optional[list[str]] = None, start_time: Optional[Any] = None, end_time: Optional[Any] = None, input_batch_size: int = 65536, output_batch_size: int = 32, features: Optional[datasets.Features] = None, on_bad_files: Literal['error', 'warn', 'skip'] = 'error', timestamp_unit: Literal['s', 'ms', 'us', 'ns'] = 'ms', timestamp_tz: Optional[str] = None)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/tsfile/tsfile.py#L143)

**매개변수:**

table_name (*str*, *optional*) : 읽을 테이블의 이름. 설정되지 않으면 첫 번째 유효한 파일에서 발견된 첫 번째 테이블이 사용됩니다. 조회는 대소문자를 구분하지 않습니다.

columns (*list[str]*, *optional*) : 유지할 FIELD 컬럼의 부분 집합입니다. TAG 컬럼과 TIME 컬럼은 *항상* 반환됩니다(디바이스/타임라인을 식별하므로 제외할 수 없음). TAG 또는 TIME 컬럼, 또는 모든 파일에 존재하지 않는 필드를 가리키는 이름은 조용히 해석됩니다: TAG/TIME은 평소대로 출력되고, 한 번도 본 적 없는 필드는 모든 값이 null인 리스트 컬럼이 됩니다. 설정되지 않으면 모든 FIELD가 반환됩니다.

start_time, end_time (*datetime*, *date*, *pa.TimestampScalar*, ISO-8601 *str*, 또는 *int*, *optional*) : 포함형 타임스탬프 범위입니다. 어느 한쪽 경계값도 생략할 수 있습니다. `datetime` 값은 자체 tz(UTC인 경우 naive) 기준으로 해석되며, `int`는 `timestamp_unit`의 raw epoch으로 해석됩니다.

input_batch_size (*int*, *optional*, 기본값 65_536) : `TsFileReader.query_table`에서 Arrow 배치당 가져오는 최대 행 수입니다. 단일 디바이스를 스트리밍할 때의 피크 메모리를 제어합니다.

output_batch_size (*int*, *optional*, 기본값 32) : writer에 전달되는 각 Arrow record batch에 패킹되는 장치(출력 dataset 행) 수입니다. 또한 dataset 진행 표시줄이 진행되는 단위로, 작은 값은 느린 장치별 읽기에서 더 반응성 있는 피드백을 제공하며, 큰 값은 배치별 오버헤드를 줄입니다.

features (*Features*, *선택 사항*) : 최종 Features 스키마. 제공되면 입력 파일에 대한 메타데이터 스캔이 건너뜁니다.

on_bad_files (*Literal["error", "warn", "skip"]*, *optional*, 기본값은 "error") : 파일을 열 수 없거나 요청한 테이블가 없는 경우 수행할 작업.

timestamp_unit (*Literal["s", "ms", "us", "ns"]*, *선택 사항*, 기본값 "ms") : 타임스탬프 열의 시간 단위입니다. IoTDB의 기본값은 밀리초입니다.

timestamp_tz (*str*, *선택*) : 타임스탬프 열의 시간대. `None`은 시간대 정보가 없는 경우를 의미합니다.

TsFile(테이블 모델)용 BuilderConfig — 디바이스별 와이드 형식.

#### datasets.packaged_modules.tsfile.TsFile[[datasets.packaged_modules.tsfile.TsFile]]

```python
datasets.packaged_modules.tsfile.TsFile(*args, **kwargs)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/tsfile/tsfile.py#L233)

TsFile(테이블 모델)용 디바이스별 와이드 포맷 빌더.

### Pdf[[datasets.packaged_modules.pdffolder.PdfFolderConfig]]

#### datasets.packaged_modules.pdffolder.PdfFolderConfig[[datasets.packaged_modules.pdffolder.PdfFolderConfig]]

```python
datasets.packaged_modules.pdffolder.PdfFolderConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, drop_labels: bool = None, drop_metadata: bool = None, metadata_filenames: list = None, filters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = None, decode_num_threads: int = 32)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/pdffolder/pdffolder.py#L9)

ImageFolder의 BuilderConfig.

#### datasets.packaged_modules.pdffolder.PdfFolder[[datasets.packaged_modules.pdffolder.PdfFolder]]

```python
datasets.packaged_modules.pdffolder.PdfFolder(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/pdffolder/pdffolder.py#L19)

### Nifti[[datasets.packaged_modules.niftifolder.NiftiFolderConfig]]

#### datasets.packaged_modules.niftifolder.NiftiFolderConfig[[datasets.packaged_modules.niftifolder.NiftiFolderConfig]]

```python
datasets.packaged_modules.niftifolder.NiftiFolderConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, drop_labels: bool = None, drop_metadata: bool = None, metadata_filenames: list = None, filters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = None, decode_num_threads: int = 32)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/niftifolder/niftifolder.py#L9)

NiftiFolder의 BuilderConfig.

#### datasets.packaged_modules.niftifolder.NiftiFolder[[datasets.packaged_modules.niftifolder.NiftiFolder]]

```python
datasets.packaged_modules.niftifolder.NiftiFolder(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/niftifolder/niftifolder.py#L20)

### WebDataset[[datasets.packaged_modules.webdataset.WebDataset]]

#### datasets.packaged_modules.webdataset.WebDataset[[datasets.packaged_modules.webdataset.WebDataset]]

```python
datasets.packaged_modules.webdataset.WebDataset(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/webdataset/webdataset.py#L20)

### Harbor[[datasets.packaged_modules.harbor.HarborConfig]]

#### datasets.packaged_modules.harbor.HarborConfig[[datasets.packaged_modules.harbor.HarborConfig]]

```python
datasets.packaged_modules.harbor.HarborConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, strip_canary: bool = True, include_files: bool = True)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/harbor/harbor.py#L95)

**매개변수:**

features (`Features`, *선택 사항*) : 생성된 행을 캐스팅하는 데 사용할 features를 설정합니다. 기본적으로 `Harbor` 작업의 features가 사용됩니다(자세한 내용은 `Harbor`를 참조).

strip_canary (`bool`, *선택 사항*, 기본값 `True`) : Harbor가 에이전트로 전송할 때와 마찬가지로 `instruction.md`와 각 단계의 지침에서 앞부분의 "benchmark data canary" 주석 줄을 제거합니다.

include_files (`bool`, *선택 사항*, 기본값 `True`) : `files` 열에 모든 작업(`environment/`, `tests/`, `solution/`...)의 모든 파일을 나열합니다. 원격 파일 시스템에 데이터셋이 있는 경우 더 빠르기 때문에 작업 디렉터리를 나열하지 않으려면 `False`로 설정합니다.

Harbor 작업 저장소를 위한 BuilderConfig.

#### datasets.packaged_modules.harbor.Harbor[[datasets.packaged_modules.harbor.Harbor]]

```python
datasets.packaged_modules.harbor.Harbor(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[소스](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/harbor/harbor.py#L116)

Harbor 작업 저장소 빌더: 작업 디렉터리마다 한 줄씩.

다음과 같은 기능을 생성합니다:

- **name** (`str`) -- `task.toml`의 `[task].name`에서 `org/name` 형식으로 지정된 작업 이름 또는 `task.toml`에 `[task]` 섹션이 없는 경우 작업 디렉터리 이름
- **description** (`str`) -- `task.toml`의 `[task].description`.
- **instruction** (`str`) -- `instruction.md`의 내용.
- **keywords** (`list` of `str`) -- `task.toml`의 `[task].keywords`.
- **schema_version** (`str`) -- `task.toml`에서 선언된 `schema_version`.
- **config** (`dict`) -- JSON 객체로 표현된 `task.toml` 전체.
- **metadata** (`dict`) -- `task.toml`의 자유 형식 `[metadata]` 섹션입니다.
- **files** (`list` of `str`) -- 태스크 디렉토리를 기준으로 한 태스크의 모든 파일.
- **location** (`str`) -- 데이터셋 루트 기준, 작업 디렉터리의 상대 경로.