로딩 방법

datasets.load_dataset

( path: strname: typing.Optional[str] = Nonedata_dir: typing.Optional[str] = Nonedata_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = Nonesplit: typing.Union[str, datasets.splits.Split, list[str], list[datasets.splits.Split], NoneType] = Nonecache_dir: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Noneverification_mode: typing.Union[datasets.utils.info_utils.VerificationMode, str, NoneType] = Nonekeep_in_memory: typing.Optional[bool] = Nonesave_infos: bool = Falserevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonetoken: typing.Union[bool, str, NoneType] = Nonestreaming: bool = Falsenum_proc: typing.Optional[int] = Nonestorage_options: typing.Optional[dict] = None**config_kwargs ) → Dataset or DatasetDict

매개변수

path (str) — 데이터셋의 경로 또는 이름.
- path가 HF 허브의 데이터셋 저장소인 경우(huggingface_hub.list_datasets로 사용 가능한 모든 데이터셋을 나열할 수 있음) -> 저장소의 지원되는 파일(csv, json, parquet 등)에서 데이터셋을 로드합니다 예: 'username/dataset_name', 데이터 파일을 포함하는 HF 허브의 데이터셋 저장소.
- path가 HF Hub의 Storage Bucket 내 디렉터리인 경우(huggingface_hub.list_buckets로 버킷 목록을 조회할 수 있음) -> 해당 디렉터리 내 지원되는 파일(csv, json, parquet 등)에서 데이터셋을 로드합니다. 예: 'buckets/username/bucket_name/my_dataset'.
- path가 로컬 디렉터리인 경우 -> 디렉터리 내의 지원되는 파일(csv, json, parquet 등)에서 데이터셋을 로드합니다. 예: './path/to/directory/with/my/csv/data'.
- path가 데이터셋 빌더의 이름이고 data_files 또는 data_dir가 지정된 경우 (사용 가능한 빌더는 “json”, “csv”, “parquet”, “arrow”, “text”, “xml”, “webdataset”, “imagefolder”, “audiofolder”, “videofolder”, “meshfolder”입니다) -> data_files 또는 data_dir의 파일에서 데이터셋을 로드합니다 예: 'parquet'.
원격만 허용하려면 hf:// 경로, 예: 'hf://datasets/username/dataset_name'를 사용하세요. 로컬만 허용하려면 절대 경로를 사용하세요.
name (str, 선택 사항) — 데이터셋 구성의 이름을 정의합니다.
data_dir (str, 선택 사항) — 데이터셋 구성의 data_dir을 정의합니다. 일반 빌더(csv, text 등)나 Hub 데이터셋에 대해 지정되고 data_files가 None인 경우, 디렉터리의 모든 파일을 참조하기 위해 os.path.join(data_dir, **)를 data_files로 전달하는 것과 동일한 동작을 합니다.
data_files (str 또는 Sequence 또는 Mapping, 선택 사항) — 원본 데이터 파일의 경로입니다.
split (Split 또는 str) — 로드할 데이터의 분할입니다. None인 경우, 모든 분할(일반적으로 datasets.Split.TRAIN과 datasets.Split.TEST)을 포함하는 dict를 반환합니다. 값이 지정된 경우, 단일 Dataset을 반환합니다. 분할은 tensorflow-datasets와 마찬가지로 결합하여 지정할 수 있습니다.
cache_dir (str, 선택 사항) — 데이터를 읽기/쓰기 위한 디렉터리입니다. 기본값은 "~/.cache/huggingface/datasets"입니다.
features (Features, 선택 사항) — 이 데이터셋에 사용할 features 유형을 설정합니다.
download_config (DownloadConfig, 선택 사항) — 특정 다운로드 구성 매개변수.
download_mode (DownloadMode 또는 str, 기본값 REUSE_DATASET_IF_EXISTS) — 다운로드/생성 모드.
verification_mode (VerificationMode 또는 str, 기본값은 BASIC_CHECKS) — 다운로드/처리된 데이터셋 정보(체크섬/크기/스플릿 등)에 대해 실행할 검사를 결정하는 검증 모드입니다.

2.9.1에 추가
keep_in_memory (bool, 기본값 None) — 데이터셋을 메모리에 복사할지 여부입니다. None인 경우, datasets.config.IN_MEMORY_MAX_SIZE를 0이 아닌 값으로 설정하여 명시적으로 활성화하지 않는 한 데이터셋은 메모리에 복사되지 않습니다. 자세한 내용은 성능 개선 섹션을 참조하세요.
revision (Version 또는 str, 선택 사항) — 로드할 데이터셋의 버전입니다. 데이터셋은 Datasets Hub에 자체 git 저장소를 가지므로, 기본 버전인 “main”은 해당 “main” 브랜치를 나타냅니다. 데이터셋 저장소의 커밋 SHA 또는 git 태그를 사용하여 기본 “main”과 다른 버전을 지정할 수 있습니다.
token (str 또는 bool, 선택 사항) — Datasets Hub의 원격 파일에 Bearer token으로 사용할 선택적 문자열 또는 불리언 값입니다. True인 경우 또는 지정되지 않은 경우 "~/.huggingface"에서 token을 가져옵니다.
streaming (bool, 기본값은 False) — 로 설정하면 True, 데이터 파일을 다운로드하지 않습니다. 대신 dataset을 반복하는 동안 데이터를 점진적으로 스트리밍합니다. 이 경우 IterableDataset 또는 IterableDatasetDict 이 반환됩니다.
txt, csv, jsonl처럼 반복 이터레이션이 가능한 데이터 포맷을 사용하는 데이터셋에 대해서만 스트리밍이 작동한다는 점에 유의하세요. Json 파일은 완전히 다운로드될 수 있습니다. 또한 원격 zip 또는 gzip 파일에서 스트리밍하는 것은 지원되지만 rar, xz와 같은 다른 압축 포맷은 아직 지원되지 않습니다. tgz 포맷은 스트리밍을 지원하지 않습니다.
num_proc (int, 선택 사항, 기본값은 None) — 데이터셋을 다운로드하고 로컬에서 생성할 때 사용할 프로세스 수입니다. 기본적으로 멀티프로세싱이 비활성화되어 있습니다.

2.7.0에 추가
storage_options (dict, 선택 사항, 기본값은 None) — 실험적. 데이터셋 파일 시스템 백엔드에 전달할 키/값 쌍입니다.

2.11.0에 추가
**config_kwargs (추가 키워드 인자) — BuilderConfig에 전달되고 DatasetBuilder에서 사용되는 키워드 인자입니다.

반환값

Dataset 또는 DatasetDict

split이 None이 아닌 경우: 요청한 데이터셋,
split이 None인 경우, 각 split을 가진 DatasetDict

또는 IterableDataset 또는 IterableDatasetDict: streaming=True인 경우

split이 None이 아닌 경우, 데이터셋이 요청됩니다
split이 None인 경우, 각 split을 가진 ~datasets.streaming.IterableDatasetDict를 반환합니다.

Hugging Face Hub에서 데이터셋을 로드하거나, 로컬 데이터셋을 로드합니다.

Hub에서 또는 huggingface_hub.list_datasets를 사용하여 데이터셋 목록을 찾을 수 있습니다.

데이터셋은 일반적인 형식(JSON, CSV, Parquet 등)의 데이터 파일과 일반적인 구조(Webdataset, ImageFolder, AudioFolder, VideoFolder, MeshFolder 등)를 포함할 수 있는 디렉터리입니다.

이 함수는 내부적으로 다음 작업을 수행합니다:

데이터셋 빌더 로드:
- 데이터셋에서 가장 일반적인 데이터 형식을 찾아 해당 빌더(JSON, CSV, Parquet, Webdataset, ImageFolder, AudioFolder, MeshFolder 등)를 선택합니다.
- …
- data_files를 수동으로 지정하고 사용할 dataset builder(예: “parquet”)를 지정할 수도 있습니다.
데이터셋 빌더를 실행합니다:

일반적인 경우:
- 로컬에 이미 존재하거나 캐시되지 않은 경우, 데이터셋에서 데이터 파일을 다운로드합니다.
- Arrow 테이블 형식으로 데이터셋을 처리하고 캐싱을 위해 캐시에 저장합니다.
  
  Arrow 테이블은 임의의 길이를 가진 타입 지정 테이블로, 중첩된 객체를 저장할 수 있으며 numpy/pandas/python의 일반 타입으로 매핑할 수 있습니다. 디스크에서 직접 액세스하거나 RAM에 로드하거나 심지어 웹을 통해 스트리밍할 수도 있습니다.
스트리밍의 경우:
- download하거나 캐시를 생성하지 않습니다. 대신 데이터셋은 지연 로드(lazy loading)되며, 반복(iteration)하는 시점에 온더플라이(on-the-fly)로 스트리밍됩니다.
split에서 요청한 스플릿(기본값: 전체)으로 구성된 데이터셋을 반환합니다.

예:

Hugging Face Hub에서 데이터셋을 로드합니다:

>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train')

# Load a subset or dataset configuration (here 'sst2')
>>> from datasets import load_dataset
>>> ds = load_dataset('nyu-mll/glue', 'sst2', split='train')

# Manual mapping of data files to splits
>>> data_files = {'train': 'train.csv', 'test': 'test.csv'}
>>> ds = load_dataset('namespace/your_dataset_name', data_files=data_files)

# Manual selection of a directory to load
>>> ds = load_dataset('namespace/your_dataset_name', data_dir='folder_name')

Hugging Face Hub의 Storage Bucket에서 데이터셋을 로드합니다:

>>> from datasets import load_dataset
>>> ds = load_dataset('buckets/username/bucket_name/rotten_tomatoes', split='train')

로컬 데이터셋 로드:

# Load a CSV file
>>> from datasets import load_dataset
>>> ds = load_dataset('csv', data_files='path/to/local/my_dataset.csv')

# Load a JSON file
>>> from datasets import load_dataset
>>> ds = load_dataset('json', data_files='path/to/local/my_dataset.json')

IterableDataset를 로드합니다:

>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train', streaming=True)

ImageFolder 데이터셋 빌더로 이미지 데이터셋을 로드합니다:

>>> from datasets import load_dataset
>>> ds = load_dataset('imagefolder', data_dir='/path/to/images', split='train')

Datasets

데이터셋

datasets.load_dataset

datasets.load_from_disk

datasets.load_dataset_builder

datasets.get_dataset_config_names

datasets.get_dataset_infos

datasets.get_dataset_split_names

파일에서

텍스트

class datasets.packaged_modules.text.TextConfig

class datasets.packaged_modules.text.Text

CSV

class datasets.packaged_modules.csv.CsvConfig

class datasets.packaged_modules.csv.Csv

JSON

class datasets.packaged_modules.json.JsonConfig

class datasets.Json

XML

class datasets.packaged_modules.xml.XmlConfig

class datasets.packaged_modules.xml.Xml

Parquet

class datasets.packaged_modules.parquet.ParquetConfig

class datasets.packaged_modules.parquet.Parquet

Arrow

class datasets.packaged_modules.arrow.ArrowConfig

class datasets.packaged_modules.arrow.Arrow

Vortex

class datasets.packaged_modules.vortex.VortexConfig

class datasets.packaged_modules.vortex.Vortex

SQL

class datasets.packaged_modules.sql.SqlConfig

class datasets.packaged_modules.sql.Sql

이미지

class datasets.packaged_modules.imagefolder.ImageFolderConfig

class datasets.packaged_modules.imagefolder.ImageFolder

오디오

class datasets.packaged_modules.audiofolder.AudioFolderConfig

class datasets.packaged_modules.audiofolder.AudioFolder

비디오

class datasets.packaged_modules.videofolder.VideoFolderConfig

class datasets.packaged_modules.videofolder.VideoFolder

HDF5

class datasets.packaged_modules.hdf5.HDF5Config

class datasets.packaged_modules.hdf5.HDF5

TsFile

class datasets.packaged_modules.tsfile.TsFileConfig

class datasets.packaged_modules.tsfile.TsFile

Pdf

class datasets.packaged_modules.pdffolder.PdfFolderConfig

class datasets.packaged_modules.pdffolder.PdfFolder

Nifti

class datasets.packaged_modules.niftifolder.NiftiFolderConfig

class datasets.packaged_modules.niftifolder.NiftiFolder

WebDataset

class datasets.packaged_modules.webdataset.WebDataset

Harbor

class datasets.packaged_modules.harbor.HarborConfig

class datasets.packaged_modules.harbor.Harbor