読み込み方法

datasets.load_dataset

( path: strname: typing.Optional[str] = Nonedata_dir: typing.Optional[str] = Nonedata_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = Nonesplit: typing.Union[str, datasets.splits.Split, list[str], list[datasets.splits.Split], NoneType] = Nonecache_dir: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Noneverification_mode: typing.Union[datasets.utils.info_utils.VerificationMode, str, NoneType] = Nonekeep_in_memory: typing.Optional[bool] = Nonesave_infos: bool = Falserevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonetoken: typing.Union[bool, str, NoneType] = Nonestreaming: bool = Falsenum_proc: typing.Optional[int] = Nonestorage_options: typing.Optional[dict] = None**config_kwargs ) → Dataset or DatasetDict

パラメータ

path (str) — データセットのパスまたは名前。
- pathがHFハブ上のデータセットリポジトリの場合(huggingface_hub.list_datasetsで利用可能なデータセットをすべて一覧表示できます) -> リポジトリ内のサポートされているファイル(csv、json、parquetなど)からデータセットを読み込みます例: 'username/dataset_name'、データファイルを含むHFハブ上のデータセットリポジトリ
- pathがHF Hub上のStorage Bucket内のディレクトリである場合(huggingface_hub.list_bucketsでバケットの一覧を表示できます) -> ディレクトリ内のサポートされているファイル(csv、json、parquetなど)からデータセットを読み込みます例: 'buckets/username/bucket_name/my_dataset'
- pathがローカルディレクトリの場合 -> ディレクトリ内のサポートされているファイル(csv、json、parquetなど)からデータセットを読み込みます例: './path/to/directory/with/my/csv/data'
- pathがデータセットビルダーの名前で、data_filesまたはdata_dirが指定されている場合 (利用可能なビルダーは “json”、“csv”、“parquet”、“arrow”、“text”、“xml”、“webdataset”、“imagefolder”、“audiofolder”、“videofolder”、“meshfolder” です) -> data_filesまたはdata_dir内のファイルからデータセットを読み込む例: 'parquet'
リモートのみを許可するには、hf:// パス、例えば 'hf://datasets/username/dataset_name' を使用します。ローカルのみを許可するには、絶対パスを使用します。
name (str, 省略可) — データセット設定の名前を定義します。
data_dir (str, 省略可) — データセット設定のdata_dirを定義します。汎用ビルダー（csv、text など）や Hub のデータセットに対して指定され、かつdata_filesがNoneの場合、ディレクトリ内のすべてのファイルを参照するためにos.path.join(data_dir, **)をdata_filesとして渡すのと同じ動作になります。
data_files (str または Sequence または Mapping、省略可) — ソースデータファイルへのパス。
split (Split または str) — 読み込むデータの分割を指定します。 None の場合、すべての分割（通常は datasets.Split.TRAIN と datasets.Split.TEST）を含む dict が返されます。値が指定された場合、単一の Dataset が返されます。分割は tensorflow-datasets と同様に、組み合わせたり指定したりできます。
cache_dir (str, 任意) — データの読み書きに使用するディレクトリ。デフォルトは "~/.cache/huggingface/datasets" です。
features (Features、任意) — このデータセットで使用する特徴量の型を設定します。
download_config (DownloadConfig、任意) — 特定のダウンロード設定パラメータ。
download_mode (DownloadMode または str、デフォルトは REUSE_DATASET_IF_EXISTS) — ダウンロード/生成モード。
verification_mode (VerificationMode または str, デフォルトは BASIC_CHECKS) — ダウンロード/処理されたデータセットの情報（チェックサム/サイズ/スプリット/…）に対して実行するチェックを決定する検証モード。

2.9.1で追加
keep_in_memory (bool、デフォルトはNone) — データセットをメモリ内にコピーするかどうか。Noneの場合、datasets.config.IN_MEMORY_MAX_SIZEをゼロ以外に設定して明示的に有効にしない限り、データセットはメモリ内にコピーされません。詳細はパフォーマンスの改善セクションを参照してください。
revision (Version または str、optional) — 読み込むデータのバージョンです。データセットは Datasets Hub に独自の git リポジトリを持つため、デフォルトのバージョン “main” はその “main” ブランチに対応します。デフォルトの “main” とは異なるバージョンを指定するには、データセットリポジトリのコミット SHA または git タグを使用できます。
token (str または bool、省略可) — Datasets Hub 上のリモートファイルの Bearer トークンとして使用する任意の文字列またはブール値。 True の場合、または指定されていない場合は、"~/.huggingface" からトークンを取得します。
streaming (bool, デフォルトは False) — に設定すると True, データファイルをダウンロードしません。代わりに、データセットを反復処理しながらデータを逐次ストリーミングします。この場合、 IterableDataset または IterableDatasetDict が返されます。
ストリーミングは、txt、csv、jsonl など、反復処理（イテレーション）をサポートするデータ形式を使用するデータセットで動作することに注意してください。 Json ファイルは完全にダウンロードされる場合があります。また、リモートの zip または gzip ファイルからのストリーミングはサポートされていますが、rar や xz などの他の圧縮形式はまだサポートされていません。tgz 形式ではストリーミングは許可されていません。
num_proc (int, 省略可能, デフォルトは None) — ローカルでデータセットをダウンロードおよび生成する際のプロセス数。デフォルトではマルチプロセッシングは無効です。

2.7.0で追加
storage_options (dict, 省略可, デフォルトは None) — 実験的機能. データセットのファイルシステムバックエンドに渡すキー/値のペア（該当する場合）。

2.11.0で追加
**config_kwargs (追加のキーワード引数) — BuilderConfigに渡され、DatasetBuilderで使用されるキーワード引数。

戻り値

DatasetまたはDatasetDict

splitがNoneでない場合: 要求されたデータセット、
splitがNoneの場合、各分割を含むDatasetDictが返されます。

または IterableDataset または IterableDatasetDict: streaming=True の場合

splitがNoneでない場合、データセットが要求されます
splitがNoneの場合、各分割を含む~datasets.streaming.IterableDatasetDictが返されます。

Hugging Face Hubから、またはローカルからデータセットを読み込みます。

Hub または huggingface_hub.list_datasets を使用して、データセットのリストを確認できます。

データセットは、汎用的な形式（JSON、CSV、Parquet など）のデータファイルと、場合によっては汎用的な構造（Webdataset、ImageFolder、AudioFolder、VideoFolder、MeshFolder など）を含むディレクトリです。

この関数は、内部で以下を行います:

データセットビルダーを読み込む:
- データセット内で最も一般的なデータ形式を特定し、それに関連するビルダー（JSON、CSV、Parquet、Webdataset、ImageFolder、AudioFolder、MeshFolder など）を選択します。
- ファイル名やディレクトリ名、またはYAML設定に基づいて、どのファイルがどの分割（例: train/test）に入るかを特定します
- data_filesを手動で指定し、使用するデータセットビルダー（例: “parquet”）を指定することも可能です。
データセットビルダーを実行します:

一般的なケースでは:
- データセットのデータファイルがローカルに存在しない、またはキャッシュされていない場合は、ダウンロードします。
- データセットを、キャッシュ用の型付き Arrow テーブルとして処理・キャッシュします。
  
  Arrow table は、任意の長さを持ち、型付きで、ネストされたオブジェクトを保存でき、numpy/pandas/python の汎用型にマッピングできるテーブルです。ディスクから直接アクセスしたり、RAM に読み込んだり、Web 経由でストリーミングしたりすることもできます。
ストリーミングの場合:
- ダウンロードやキャッシュは行いません。代わりに、データセットは遅延読み込みされ、反復処理時にオンザフライでストリーミングされます。
split で指定されたスプリット（デフォルト: すべて）から構築されたデータセットを返します。

例:

Hugging Face Hubからデータセットを読み込みます:

>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train')

# Load a subset or dataset configuration (here 'sst2')
>>> from datasets import load_dataset
>>> ds = load_dataset('nyu-mll/glue', 'sst2', split='train')

# Manual mapping of data files to splits
>>> data_files = {'train': 'train.csv', 'test': 'test.csv'}
>>> ds = load_dataset('namespace/your_dataset_name', data_files=data_files)

# Manual selection of a directory to load
>>> ds = load_dataset('namespace/your_dataset_name', data_dir='folder_name')

Hugging Face HubのStorage Bucketからデータセットを読み込む:

>>> from datasets import load_dataset
>>> ds = load_dataset('buckets/username/bucket_name/rotten_tomatoes', split='train')

ローカルデータセットを読み込む:

# Load a CSV file
>>> from datasets import load_dataset
>>> ds = load_dataset('csv', data_files='path/to/local/my_dataset.csv')

# Load a JSON file
>>> from datasets import load_dataset
>>> ds = load_dataset('json', data_files='path/to/local/my_dataset.json')

IterableDatasetを読み込みます:

>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train', streaming=True)

ImageFolder データセットビルダーで画像データセットを読み込みます:

>>> from datasets import load_dataset
>>> ds = load_dataset('imagefolder', data_dir='/path/to/images', split='train')

Datasets

データセット

datasets.load_dataset

datasets.load_from_disk

datasets.load_dataset_builder

datasets.get_dataset_config_names

datasets.get_dataset_infos

datasets.get_dataset_split_names

ファイルから

テキスト

class datasets.packaged_modules.text.TextConfig

class datasets.packaged_modules.text.Text

CSV

class datasets.packaged_modules.csv.CsvConfig

class datasets.packaged_modules.csv.Csv

JSON

class datasets.packaged_modules.json.JsonConfig

class datasets.Json

XML

class datasets.packaged_modules.xml.XmlConfig

class datasets.packaged_modules.xml.Xml

Parquet

class datasets.packaged_modules.parquet.ParquetConfig

class datasets.packaged_modules.parquet.Parquet

Arrow

class datasets.packaged_modules.arrow.ArrowConfig

class datasets.packaged_modules.arrow.Arrow

Vortex

class datasets.packaged_modules.vortex.VortexConfig

class datasets.packaged_modules.vortex.Vortex

SQL

class datasets.packaged_modules.sql.SqlConfig

class datasets.packaged_modules.sql.Sql

画像

class datasets.packaged_modules.imagefolder.ImageFolderConfig

class datasets.packaged_modules.imagefolder.ImageFolder

オーディオ

class datasets.packaged_modules.audiofolder.AudioFolderConfig

class datasets.packaged_modules.audiofolder.AudioFolder

動画

class datasets.packaged_modules.videofolder.VideoFolderConfig

class datasets.packaged_modules.videofolder.VideoFolder

HDF5

class datasets.packaged_modules.hdf5.HDF5Config

class datasets.packaged_modules.hdf5.HDF5

TsFile

class datasets.packaged_modules.tsfile.TsFileConfig

class datasets.packaged_modules.tsfile.TsFile

Pdf

class datasets.packaged_modules.pdffolder.PdfFolderConfig

class datasets.packaged_modules.pdffolder.PdfFolder

Nifti

class datasets.packaged_modules.niftifolder.NiftiFolderConfig

class datasets.packaged_modules.niftifolder.NiftiFolder

WebDataset

class datasets.packaged_modules.webdataset.WebDataset

Harbor

class datasets.packaged_modules.harbor.HarborConfig

class datasets.packaged_modules.harbor.Harbor