Hugging Face's logo

Datasets documentation

Metode pemuatan

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v4.8.4).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Metode pemuatan

Metode untuk mendaftar dan memuat dataset:

Dataset

datasets.load_dataset

< >

( path: strname: typing.Optional[str] = Nonedata_dir: typing.Optional[str] = Nonedata_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = Nonesplit: typing.Union[str, datasets.splits.Split, list[str], list[datasets.splits.Split], NoneType] = Nonecache_dir: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Noneverification_mode: typing.Union[datasets.utils.info_utils.VerificationMode, str, NoneType] = Nonekeep_in_memory: typing.Optional[bool] = Nonesave_infos: bool = Falserevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonetoken: typing.Union[bool, str, NoneType] = Nonestreaming: bool = Falsenum_proc: typing.Optional[int] = Nonestorage_options: typing.Optional[dict] = None**config_kwargs ) → Dataset or DatasetDict

Parameter

  • path (str) — Path atau nama dataset.

    • jika path adalah repositori dataset di HF hub (daftar semua dataset yang tersedia dengan huggingface_hub.list_datasets) -> muat dataset dari file yang didukung di repositori (csv, json, parquet, dll.) mis. 'username/dataset_name', repositori dataset di HF hub yang berisi file data.

    • jika path adalah direktori di dalam Storage Bucket pada HF Hub (daftar bucket Anda dengan huggingface_hub.list_buckets) -> muat dataset dari file yang didukung di dalam direktori (csv, json, parquet, dll.) mis. 'buckets/username/bucket_name/my_dataset'.

    • jika path adalah direktori lokal -> muat dataset dari file yang didukung di dalam direktori (csv, json, parquet, dll.) mis. './path/to/directory/with/my/csv/data'.

    • jika path adalah nama dataset builder dan data_files atau data_dir ditentukan (builder yang tersedia adalah “json”, “csv”, “parquet”, “arrow”, “text”, “xml”, “webdataset”, “imagefolder”, “audiofolder”, “videofolder”, “meshfolder”) -> muat dataset dari file di data_files atau data_dir mis. 'parquet'.

    Gunakan jalur hf:// seperti 'hf://datasets/username/dataset_name' untuk mengizinkan akses jarak jauh saja. Gunakan jalur absolut untuk mengizinkan akses lokal saja.

  • name (str, opsional) — Menentukan nama konfigurasi dataset.
  • data_dir (str, opsional) — Menentukan data_dir dari konfigurasi dataset. Jika ditentukan untuk builder generik (csv, text, dll.) atau dataset Hub dan data_files adalah None, perilakunya sama dengan meneruskan os.path.join(data_dir, **) sebagai data_files untuk merujuk semua file dalam sebuah direktori.
  • data_files (str atau Sequence atau Mapping, opsional) — Path ke file data sumber.
  • split (Split atau str) — Bagian mana dari data yang akan dimuat. Jika None, akan mengembalikan dict berisi semua bagian (biasanya datasets.Split.TRAIN dan datasets.Split.TEST). Jika diberikan, akan mengembalikan satu Dataset. Bagian dapat digabungkan dan ditentukan seperti dalam tensorflow-datasets.
  • cache_dir (str, opsional) — Direktori untuk membaca/menulis data. Bawaan adalah "~/.cache/huggingface/datasets".
  • features (Features, opsional) — Atur tipe fitur yang akan digunakan untuk dataset ini.
  • download_config (DownloadConfig, opsional) — Parameter konfigurasi unduhan yang spesifik.
  • download_mode (DownloadMode atau str, default REUSE_DATASET_IF_EXISTS) — Mode unduhan/generasi.
  • verification_mode (VerificationMode atau str, defaultnya BASIC_CHECKS) — Mode verifikasi yang menentukan pemeriksaan yang dijalankan pada informasi dataset yang diunduh/diproses (checksum/ukuran/splits/…).

    Ditambahkan di 2.9.1

  • keep_in_memory (bool, defaultnya None) — Apakah dataset akan disalin ke memori. Jika None, dataset tidak akan disalin ke memori kecuali secara eksplisit diaktifkan dengan mengatur datasets.config.IN_MEMORY_MAX_SIZE ke nilai selain nol. Lihat detail lebih lanjut di bagian meningkatkan kinerja.
  • revision (Version atau str, opsional) — Versi dataset yang akan dimuat. Karena dataset memiliki repositori git sendiri di Datasets Hub, versi default “main” sesuai dengan branch “main” mereka. Anda dapat menentukan versi selain default “main” dengan menggunakan commit SHA atau git tag dari repositori dataset.
  • token (str atau bool, opsional) — String atau boolean opsional untuk digunakan sebagai Bearer token untuk file jarak jauh di Datasets Hub. Jika True, atau tidak ditentukan, token akan diambil dari "~/.huggingface".
  • streaming (bool, defaultnya False) — Jika diatur ke True, jangan unduh file data. Sebaliknya, data akan di-stream secara progresif saat iterasi pada dataset. Sebuah IterableDataset atau IterableDatasetDict yang dikembalikan dalam kasus ini.

    Perhatikan bahwa streaming berfungsi untuk dataset yang menggunakan format data yang mendukung iterasi, seperti txt, csv, jsonl, misalnya. File Json mungkin diunduh secara lengkap. Selain itu, streaming dari file zip atau gzip jarak jauh didukung, tetapi format kompresi lainnya seperti rar dan xz belum didukung. Format tgz tidak memungkinkan streaming.

  • num_proc (int, opsional, defaultnya None) — Jumlah proses saat mengunduh dan menghasilkan dataset secara lokal. Multiprocessing dinonaktifkan secara default.

    Ditambahkan di 2.7.0

  • storage_options (dict, opsional, defaultnya None) — Eksperimental. Pasangan kunci/nilai yang akan diteruskan ke backend file-system dataset, jika ada.

    Ditambahkan dalam 2.11.0

  • **config_kwargs (argumen kata kunci tambahan) — Argumen kata kunci yang akan diteruskan ke BuilderConfig dan digunakan dalam DatasetBuilder.

Mengembalikan

Dataset atau DatasetDict

  • jika split bukan None: dataset yang diminta,
  • jika split adalah None, sebuah DatasetDict dengan setiap split.

atau IterableDataset atau IterableDatasetDict: jika streaming=True

  • jika split bukan None, dataset diminta
  • jika split adalah None, sebuah ~datasets.streaming.IterableDatasetDict dengan setiap split.

Muat dataset dari Hugging Face Hub, atau dataset lokal.

Anda dapat menemukan daftar dataset di Hub atau dengan huggingface_hub.list_datasets.

Dataset adalah direktori yang berisi beberapa file data dalam format generik (JSON, CSV, Parquet, dll.) dan mungkin dalam struktur generik (Webdataset, ImageFolder, AudioFolder, VideoFolder, MeshFolder, dll.)

Fungsi ini melakukan hal-hal berikut di balik layar:

  1. Muat pembangun dataset:

    • Temukan format data yang paling umum dalam dataset dan pilih builder yang terkait (JSON, CSV, Parquet, Webdataset, ImageFolder, AudioFolder, MeshFolder, dll.)
    • Temukan file mana yang masuk ke split mana (misalnya train/test) berdasarkan nama file dan direktori atau berdasarkan konfigurasi YAML
    • Anda juga dapat menentukan data_files secara manual, serta builder dataset mana yang akan digunakan (misalnya “parquet”).

  2. Jalankan pembangun dataset:

    Dalam kasus umum:

    • Unduh file data dari dataset jika belum tersedia secara lokal atau di-cache.

    • Proses dan simpan dataset dalam tabel Arrow bertipe untuk keperluan cache.

      Tabel Arrow adalah tabel bertipe dengan panjang arbitrer yang dapat menyimpan objek bersarang dan dipetakan ke tipe generik numpy/pandas/python. Mereka dapat diakses langsung dari disk, dimuat ke RAM, atau bahkan dialirkan melalui web.

    Dalam kasus streaming:

    • Jangan mengunduh atau meng-cache apa pun. Sebaliknya, dataset dimuat secara lazy dan akan di-stream secara on-the-fly saat diiterasi.

  3. Kembalikan dataset yang dibangun dari split yang diminta dalam split (default: semua).

Contoh:

Muat dataset dari Hugging Face Hub:

>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train')

# Load a subset or dataset configuration (here 'sst2')
>>> from datasets import load_dataset
>>> ds = load_dataset('nyu-mll/glue', 'sst2', split='train')

# Manual mapping of data files to splits
>>> data_files = {'train': 'train.csv', 'test': 'test.csv'}
>>> ds = load_dataset('namespace/your_dataset_name', data_files=data_files)

# Manual selection of a directory to load
>>> ds = load_dataset('namespace/your_dataset_name', data_dir='folder_name')

Muat dataset dari Storage Bucket di Hugging Face Hub:

>>> from datasets import load_dataset
>>> ds = load_dataset('buckets/username/bucket_name/rotten_tomatoes', split='train')

Muat dataset lokal:

# Load a CSV file
>>> from datasets import load_dataset
>>> ds = load_dataset('csv', data_files='path/to/local/my_dataset.csv')

# Load a JSON file
>>> from datasets import load_dataset
>>> ds = load_dataset('json', data_files='path/to/local/my_dataset.json')

Muat IterableDataset:

>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train', streaming=True)

Muat dataset gambar dengan pembangun dataset ImageFolder:

>>> from datasets import load_dataset
>>> ds = load_dataset('imagefolder', data_dir='/path/to/images', split='train')

datasets.load_from_disk

< >

( dataset_path: typing.Union[str, bytes, os.PathLike]keep_in_memory: typing.Optional[bool] = Nonestorage_options: typing.Optional[dict] = None ) → Dataset or DatasetDict

Parameter

  • dataset_path (path-like) — Path (mis. "dataset/train") atau URI jarak jauh (mis. "s3://my-bucket/dataset/train") dari direktori Dataset atau DatasetDict tempat dataset/dataset-dict akan dimuat.
  • keep_in_memory (bool, defaultnya None) — Apakah dataset akan disalin ke memori. Jika None, dataset tidak akan disalin ke memori kecuali secara eksplisit diaktifkan dengan mengatur datasets.config.IN_MEMORY_MAX_SIZE ke nilai selain nol. Lihat detail lebih lanjut di bagian meningkatkan kinerja.
  • storage_options (dict, opsional) — Pasangan kunci/nilai yang akan diteruskan ke backend sistem file, jika ada.

    Ditambahkan di 2.9.0

Mengembalikan

Dataset atau DatasetDict

  • Jika dataset_path adalah path dari direktori dataset: dataset yang diminta.
  • Jika dataset_path adalah path dari direktori dataset dict, sebuah DatasetDict dengan setiap split.

Memuat dataset yang sebelumnya disimpan menggunakan save_to_disk() dari direktori dataset, atau dari sistem file menggunakan implementasi apa pun dari fsspec.spec.AbstractFileSystem.

Contoh:

>>> from datasets import load_from_disk
>>> ds = load_from_disk('path/to/dataset/directory')

datasets.load_dataset_builder

< >

( path: strname: typing.Optional[str] = Nonedata_dir: typing.Optional[str] = Nonedata_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = Nonecache_dir: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Nonerevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonetoken: typing.Union[bool, str, NoneType] = Nonestorage_options: typing.Optional[dict] = None**config_kwargs )

Parameter

  • path (str) — Path atau nama dataset. Jika path adalah repositori dataset di HF hub (daftar semua dataset yang tersedia dengan huggingface_hub.list_datasets) -> muat dataset builder dari file yang didukung di repositori (csv, json, parquet, dll.) mis. 'username/dataset_name', sebuah repositori dataset di HF hub yang berisi file data. Jika path adalah direktori di dalam Storage Bucket pada HF Hub (daftar bucket Anda dengan huggingface_hub.list_buckets) -> muat dataset dari file yang didukung di direktori (csv, json, parquet, dll.) mis. 'buckets/username/bucket_name/my_dataset'. Jika path adalah direktori lokal -> muat dataset builder dari file yang didukung di direktori (csv, json, parquet, dll.) mis. './path/to/directory/with/my/csv/data'. Jika path adalah nama dataset builder dan data_files atau data_dir ditentukan (builder yang tersedia adalah “json”, “csv”, “parquet”, “arrow”, “text”, “xml”, “webdataset”, “imagefolder”, “audiofolder”, “videofolder”, “meshfolder”) -> muat dataset builder dari file di data_files atau data_dir mis. 'parquet'. Gunakan path hf:// seperti 'hf://datasets/username/dataset_name' untuk mengizinkan hanya remote. Gunakan path absolut untuk mengizinkan hanya lokal.

    • jika path adalah repositori dataset di HF hub (daftar semua dataset yang tersedia dengan huggingface_hub.list_datasets) -> muat dataset builder dari file yang didukung di dalam repositori (csv, json, parquet, dll.) mis. 'username/dataset_name', repositori dataset di HF hub yang berisi file data.

    • jika path adalah direktori di dalam Storage Bucket pada HF Hub (daftar bucket Anda dengan huggingface_hub.list_buckets) -> muat dataset dari file yang didukung di dalam direktori (csv, json, parquet, dll.) mis. 'buckets/username/bucket_name/my_dataset'.

    • jika path adalah direktori lokal -> muat dataset builder dari file yang didukung di dalam direktori (csv, json, parquet, dll.) mis. './path/to/directory/with/my/csv/data'.

    • jika path adalah nama dataset builder dan data_files atau data_dir ditentukan (builder yang tersedia adalah “json”, “csv”, “parquet”, “arrow”, “text”, “xml”, “webdataset”, “imagefolder”, “audiofolder”, “videofolder”, “meshfolder”) -> muat dataset builder dari file di data_files atau data_dir mis. 'parquet'.

    Gunakan jalur hf:// seperti 'hf://datasets/username/dataset_name' untuk mengizinkan akses jarak jauh saja. Gunakan jalur absolut untuk mengizinkan akses lokal saja.

  • name (str, opsional) — Menentukan nama konfigurasi dataset.
  • data_dir (str, opsional) — Menentukan data_dir dari konfigurasi dataset. Jika ditentukan untuk builder generik (csv, text, dll.) atau dataset Hub dan data_files adalah None, perilakunya sama dengan meneruskan os.path.join(data_dir, **) sebagai data_files untuk merujuk semua file dalam sebuah direktori.
  • data_files (str atau Sequence atau Mapping, opsional) — Path ke file data sumber.
  • cache_dir (str, opsional) — Direktori untuk membaca/menulis data. Bawaan adalah "~/.cache/huggingface/datasets".
  • features (Features, opsional) — Tetapkan tipe fitur yang akan digunakan untuk dataset ini.
  • download_config (DownloadConfig, opsional) — Parameter konfigurasi unduhan yang spesifik.
  • download_mode (DownloadMode atau str, default REUSE_DATASET_IF_EXISTS) — Mode unduhan/generasi.
  • revision (Version atau str, opsional) — Versi dataset yang akan dimuat. Karena dataset memiliki repositori git sendiri di Datasets Hub, versi default “main” sesuai dengan branch “main” mereka. Anda dapat menentukan versi selain default “main” dengan menggunakan commit SHA atau git tag dari repositori dataset.
  • token (str atau bool, opsional) — String atau boolean opsional untuk digunakan sebagai Bearer token untuk file jarak jauh di Datasets Hub. Jika True, atau tidak ditentukan, token akan diambil dari "~/.huggingface".
  • storage_options (dict, opsional, defaultnya None) — Eksperimental. Pasangan kunci/nilai yang akan diteruskan ke backend file-system dataset, jika ada.

    Ditambahkan dalam 2.11.0

  • **config_kwargs (argumen kata kunci tambahan) — Argumen kata kunci yang akan diteruskan ke BuilderConfig dan digunakan dalam DatasetBuilder.

Muat pembangun dataset yang dapat digunakan untuk:

  • Periksa informasi umum yang diperlukan untuk membangun dataset (direktori cache, konfigurasi, info dataset, fitur, file data, dll.)
  • Unduh dan siapkan dataset sebagai file Arrow di cache
  • Dapatkan dataset streaming tanpa mengunduh atau meng-cache apa pun

Anda dapat menemukan daftar dataset di Hub atau dengan huggingface_hub.list_datasets.

Dataset adalah direktori yang berisi beberapa file data dalam format generik (JSON, CSV, Parquet, dll.) dan mungkin dalam struktur generik (Webdataset, ImageFolder, AudioFolder, VideoFolder, MeshFolder, dll.)

Contoh:

>>> from datasets import load_dataset_builder
>>> ds_builder = load_dataset_builder('cornell-movie-review-data/rotten_tomatoes')
>>> ds_builder.info.features
{'label': ClassLabel(names=['neg', 'pos']),
 'text': Value('string')}

datasets.get_dataset_config_names

< >

( path: strrevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Nonedata_files: typing.Union[str, list, dict, NoneType] = None**download_kwargs )

Parameter

  • path (str) — path ke repositori dataset. Bisa berupa:
    • jalur lokal ke direktori dataset yang berisi file data, misalnya './dataset/squad'
    • pengidentifikasi dataset di Hugging Face Hub (daftar semua dataset dan id yang tersedia dengan huggingface_hub.list_datasets), misalnya 'rajpurkar/squad', 'nyu-mll/glue' atau`'openai/webtext'
  • revision (Union[str, datasets.Version], opsional) — Jika ditentukan, modul dataset akan dimuat dari repositori datasets pada versi ini. Secara default:
    • ditetapkan ke versi lokal dari lib.
    • hal ini juga akan mencoba memuatnya dari cabang utama jika tidak tersedia di versi lokal lib. Menentukan versi yang berbeda dari versi lokal lib Anda dapat menyebabkan masalah kompatibilitas.
  • download_config (DownloadConfig, opsional) — Parameter konfigurasi unduhan yang spesifik.
  • download_mode (DownloadMode atau str, default REUSE_DATASET_IF_EXISTS) — Mode unduhan/generasi.
  • data_files (Union[Dict, List, str], opsional) — Menentukan data_files dari konfigurasi dataset.
  • **download_kwargs (argumen kata kunci tambahan) — Atribut opsional untuk DownloadConfig yang akan menimpa atribut dalam download_config jika diberikan, misalnya token.

Dapatkan daftar nama konfigurasi yang tersedia untuk dataset tertentu.

Contoh:

>>> from datasets import get_dataset_config_names
>>> get_dataset_config_names("nyu-mll/glue")
['cola',
 'sst2',
 'mrpc',
 'qqp',
 'stsb',
 'mnli',
 'mnli_mismatched',
 'mnli_matched',
 'qnli',
 'rte',
 'wnli',
 'ax']

datasets.get_dataset_infos

< >

( path: strdata_files: typing.Union[str, list, dict, NoneType] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Nonerevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonetoken: typing.Union[bool, str, NoneType] = None**config_kwargs )

Parameter

  • path (str) — path ke repositori dataset. Bisa berupa:
    • jalur lokal ke direktori dataset yang berisi file data, misalnya './dataset/squad'
    • pengidentifikasi dataset di Hugging Face Hub (daftar semua dataset dan id yang tersedia dengan huggingface_hub.list_datasets), misalnya 'rajpurkar/squad', 'nyu-mll/glue' atau`'openai/webtext'
  • revision (Union[str, datasets.Version], opsional) — Jika ditentukan, modul dataset akan dimuat dari repositori datasets pada versi ini. Secara default:
    • ditetapkan ke versi lokal dari lib.
    • Ia juga akan mencoba memuatnya dari cabang utama jika tidak tersedia di versi lokal lib. Menentukan versi yang berbeda dari versi lokal lib Anda dapat menyebabkan masalah kompatibilitas.
  • download_config (DownloadConfig, opsional) — Parameter konfigurasi unduhan yang spesifik.
  • download_mode (DownloadMode atau str, default REUSE_DATASET_IF_EXISTS) — Mode unduhan/generasi.
  • data_files (Union[Dict, List, str], opsional) — Menentukan data_files dari konfigurasi dataset.
  • token (str atau bool, opsional) — String atau boolean opsional untuk digunakan sebagai Bearer token untuk file jarak jauh di Datasets Hub. Jika True, atau tidak ditentukan, token akan diambil dari "~/.huggingface".
  • **config_kwargs (argumen kata kunci tambahan) — Atribut opsional untuk kelas builder yang akan menimpa atribut jika diberikan.

Dapatkan informasi meta tentang dataset, dikembalikan sebagai dict yang memetakan nama config ke DatasetInfoDict.

Contoh:

>>> from datasets import get_dataset_infos
>>> get_dataset_infos('cornell-movie-review-data/rotten_tomatoes')
{'default': DatasetInfo(description="Movie Review Dataset.
 is a dataset of containing 5,331 positive and 5,331 negative processed
ences from Rotten Tomatoes movie reviews...), ...}

datasets.get_dataset_split_names

< >

( path: strconfig_name: typing.Optional[str] = Nonedata_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Nonerevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonetoken: typing.Union[bool, str, NoneType] = None**config_kwargs )

Parameter

  • path (str) — path ke repositori dataset. Bisa berupa:
    • jalur lokal ke direktori dataset yang berisi file data, misalnya './dataset/squad'
    • pengidentifikasi dataset di Hugging Face Hub (daftar semua dataset dan id yang tersedia dengan huggingface_hub.list_datasets), misalnya 'rajpurkar/squad', 'nyu-mll/glue' atau`'openai/webtext'
  • config_name (str, opsional) — Menentukan nama konfigurasi dataset.
  • data_files (str atau Sequence atau Mapping, opsional) — Path ke file data sumber.
  • download_config (DownloadConfig, opsional) — Parameter konfigurasi unduhan yang spesifik.
  • download_mode (DownloadMode atau str, default REUSE_DATASET_IF_EXISTS) — Mode unduhan/generasi.
  • revision (Version atau str, opsional) — Versi dataset yang akan dimuat. Karena dataset memiliki repositori git sendiri di Datasets Hub, versi default “main” sesuai dengan branch “main” mereka. Anda dapat menentukan versi selain default “main” dengan menggunakan commit SHA atau git tag dari repositori dataset.
  • token (str atau bool, opsional) — String atau boolean opsional untuk digunakan sebagai Bearer token untuk file jarak jauh di Datasets Hub. Jika True, atau tidak ditentukan, token akan diambil dari "~/.huggingface".
  • **config_kwargs (argumen kata kunci tambahan) — Atribut opsional untuk kelas builder yang akan menimpa atribut jika diberikan.

Dapatkan daftar split yang tersedia untuk konfigurasi dan dataset tertentu.

Contoh:

>>> from datasets import get_dataset_split_names
>>> get_dataset_split_names('cornell-movie-review-data/rotten_tomatoes')
['train', 'validation', 'test']

Dari file

Konfigurasi yang digunakan untuk memuat file data. Mereka digunakan saat memuat file lokal atau repositori dataset:

  • file lokal: load_dataset("parquet", data_dir="path/to/data/dir")
  • repository dataset: load_dataset("allenai/c4")

Anda dapat meneruskan argumen ke load_dataset untuk mengonfigurasi pemuatan data. Sebagai contoh, Anda dapat menentukan parameter sep untuk mendefinisikan CsvConfig yang digunakan untuk memuat data:

load_dataset("csv", data_dir="path/to/data/dir", sep="\t")

Teks

kelas datasets.packaged_modules.text.TextConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Noneencoding: str = 'utf-8'encoding_errors: typing.Optional[str] = Nonechunksize: int = 10485760keep_linebreaks: bool = Falsesample_by: typing.Literal['line', 'paragraph', 'document'] = 'line' )

Parameter

  • features — (Features, opsional): Mengubah data menjadi features.
  • encoding — (str, defaultnya “utf-8”): Encoding untuk mendekode file.
  • encoding_errors — (str, opsional): Argumen untuk menentukan tindakan yang diambil jika terjadi kesalahan encoding. Ini sama dengan argumen error pada open().
  • chunksize — (Features, opsional, default “10MB”): Ukuran chunk untuk membaca data.
  • keep_linebreaks — (bool, defaultnya False): Apakah akan mempertahankan baris baru.
  • sample_by (Literal["line", "paragraph", "document"], default “line”) — Apakah memuat data per baris, paragraf, atau dokumen. Secara default, satu baris dalam dataset = satu baris.

BuilderConfig untuk file teks.

kelas datasets.packaged_modules.text.Text

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

CSV

kelas datasets.packaged_modules.csv.CsvConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonesep: str = ','delimiter: typing.Optional[str] = Noneheader: typing.Union[int, list[int], str, NoneType] = 'infer'names: typing.Optional[list[str]] = Nonecolumn_names: typing.Optional[list[str]] = Noneindex_col: typing.Union[int, str, list[int], list[str], NoneType] = Noneusecols: typing.Union[list[int], list[str], NoneType] = Noneprefix: typing.Optional[str] = Nonemangle_dupe_cols: bool = Trueengine: typing.Optional[typing.Literal['c', 'python', 'pyarrow']] = Noneconverters: dict = Nonetrue_values: typing.Optional[list] = Nonefalse_values: typing.Optional[list] = Noneskipinitialspace: bool = Falseskiprows: typing.Union[int, list[int], NoneType] = Nonenrows: typing.Optional[int] = Nonena_values: typing.Union[str, list[str], NoneType] = Nonekeep_default_na: bool = Truena_filter: bool = Trueverbose: bool = Falseskip_blank_lines: bool = Truethousands: typing.Optional[str] = Nonedecimal: str = '.'lineterminator: typing.Optional[str] = Nonequotechar: str = '"'quoting: int = 0escapechar: typing.Optional[str] = Nonecomment: typing.Optional[str] = Noneencoding: typing.Optional[str] = Nonedialect: typing.Optional[str] = Noneerror_bad_lines: bool = Truewarn_bad_lines: bool = Trueskipfooter: int = 0doublequote: bool = Truememory_map: bool = Falsefloat_precision: typing.Optional[str] = Nonechunksize: int = 10000features: typing.Optional[datasets.features.features.Features] = Noneencoding_errors: typing.Optional[str] = 'strict'on_bad_lines: typing.Literal['error', 'warn', 'skip'] = 'error'date_format: typing.Optional[str] = None )

BuilderConfig untuk CSV.

kelas datasets.packaged_modules.csv.Csv

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

JSON

kelas datasets.packaged_modules.json.JsonConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Noneencoding: str = 'utf-8'encoding_errors: typing.Optional[str] = Nonefield: typing.Optional[str] = Noneuse_threads: bool = Trueblock_size: typing.Optional[int] = Nonechunksize: int = 10485760newlines_in_values: typing.Optional[bool] = Noneon_mixed_types: typing.Optional[typing.Literal['use_json']] = 'use_json'parse_agent_traces: bool = True )

BuilderConfig untuk JSON.

kelas datasets.Json

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

XML

kelas datasets.packaged_modules.xml.XmlConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Noneencoding: str = 'utf-8'encoding_errors: typing.Optional[str] = None )

BuilderConfig untuk file xml.

kelas datasets.packaged_modules.xml.Xml

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Parquet

kelas datasets.packaged_modules.parquet.ParquetConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonebatch_size: typing.Optional[int] = Nonecolumns: typing.Optional[list[str]] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonefragment_scan_options: typing.Optional[pyarrow._dataset_parquet.ParquetFragmentScanOptions] = Noneon_bad_files: typing.Literal['error', 'warn', 'skip'] = 'error' )

Parameter

  • batch_size (int, opsional) — Ukuran RecordBatches yang akan diiterasi. Nilai defaultnya adalah ukuran row group (didefinisikan oleh row group pertama).
  • columns (list[str], opsional) — Daftar kolom yang akan dimuat; kolom lainnya diabaikan. Secara default, semua kolom dimuat.
  • features — (Features, opsional): Mengubah data menjadi features.
  • filters (Union[pyarrow.dataset.Expression, list[tuple], list[list[tuple]]], opsional) — Kembalikan hanya baris yang cocok dengan filter. Jika memungkinkan, predikat akan didorong ke bawah untuk memanfaatkan informasi partisi atau metadata internal yang ditemukan di sumber data, misalnya statistik Parquet. Jika tidak, filterkan RecordBatches yang dimuat sebelum menghasilkannya.
  • fragment_scan_options (pyarrow.dataset.ParquetFragmentScanOptions, opsional) — Opsi spesifik pemindaian untuk fragmen Parquet. Ini sangat berguna untuk mengonfigurasi buffering dan caching.

    Ditambahkan dalam 4.2.0

  • on_bad_files (Literal["error", "warn", "skip"], opsional, defaultnya “error”) — Tentukan tindakan yang akan dilakukan saat menemukan file yang rusak (file yang tidak dapat dibaca). Nilai yang diizinkan adalah :
    • ‘error’, lempar Exception ketika file yang rusak ditemui.
    • ‘warn’, mengeluarkan peringatan ketika file yang rusak ditemukan dan melewati file tersebut.
    • ‘skip’, lewati file yang rusak tanpa memicu atau memperingatkan saat ditemukan.

    Ditambahkan dalam 4.2.0

BuilderConfig untuk Parquet.

Contoh:

Muat subset kolom:

>>> ds = load_dataset(parquet_dataset_id, columns=["col_0", "col_1"])

Alirkan data dan saring data secara efisien, dengan kemungkinan melewati seluruh file atau grup baris:

>>> filters = [("col_0", "==", 0)]
>>> ds = load_dataset(parquet_dataset_id, streaming=True, filters=filters)

Tingkatkan ukuran permintaan minimum saat streaming dari 32MiB (default) menjadi 128MiB dan aktifkan prefetching:

>>> import pyarrow
>>> import pyarrow.dataset
>>> fragment_scan_options = pyarrow.dataset.ParquetFragmentScanOptions(
...     cache_options=pyarrow.CacheOptions(
...         prefetch_limit=1,
...         range_size_limit=128 << 20
...     ),
... )
>>> ds = load_dataset(parquet_dataset_id, streaming=True, fragment_scan_options=fragment_scan_options)

kelas datasets.packaged_modules.parquet.Parquet

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Arrow

kelas datasets.packaged_modules.arrow.ArrowConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = None )

BuilderConfig untuk Arrow.

kelas datasets.packaged_modules.arrow.Arrow

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Vortex

kelas datasets.packaged_modules.vortex.VortexConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonebatch_size: typing.Optional[int] = Nonecolumns: typing.Optional[list[str]] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonefilters: typing.Union[ForwardRef('vortex.expr.Expr'), list[tuple], list[list[tuple]], NoneType] = Noneon_bad_files: typing.Literal['error', 'warn', 'skip'] = 'error' )

Parameter

  • batch_size (int, opsional) — Ukuran RecordBatches yang akan diiterasi. Nilai default ditentukan oleh pemindai Vortex.
  • columns (list[str], opsional) — Daftar kolom yang akan dimuat; kolom lainnya diabaikan. Secara default, semua kolom dimuat.
  • features — (Features, opsional): Mengubah data menjadi features.
  • filters (Union[vortex.expr.Expr, list[tuple], list[list[tuple]]], opsional) — Kembalikan hanya baris yang cocok dengan filter. Predikat didorong ke bawah ke dalam pemindaian Vortex sehingga hanya baris yang cocok yang dibaca. Filter yang diberikan sebagai daftar tuple (DNF, seperti yang diterima oleh pemuat Parquet) dikonversi menjadi ekspresi Vortex. Nilai null mengikuti semantik SQL: null tidak memenuhi perbandingan apa pun, sehingga baris yang kolomnya difilter bernilai null tidak pernah dikembalikan. Perhatikan bahwa not in dengan demikian membuang null, sedangkan pemuat Parquet menyimpannya karena membangun ~field.isin(values) dan null tidak ada dalam himpunan tersebut.
  • on_bad_files (Literal["error", "warn", "skip"], opsional, defaultnya “error”) — Tentukan tindakan yang akan dilakukan saat menemukan file yang rusak (file yang tidak dapat dibaca). Nilai yang diizinkan adalah :
    • ‘error’, lempar Exception ketika file yang rusak ditemui.
    • ‘warn’, mengeluarkan peringatan ketika file yang rusak ditemukan dan melewati file tersebut.
    • ‘skip’, lewati file yang rusak tanpa memicu atau memperingatkan saat ditemukan.

BuilderConfig untuk Vortex.

Contoh:

Muat subset kolom:

>>> ds = load_dataset(vortex_dataset_id, columns=["col_0", "col_1"])

Alirkan data dan saring data secara efisien, lewati seluruh file atau chunk jika memungkinkan:

>>> filters = [("col_0", "==", 0)]
>>> ds = load_dataset(vortex_dataset_id, streaming=True, filters=filters)

kelas datasets.packaged_modules.vortex.Vortex

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

SQL

kelas datasets.packaged_modules.sql.SqlConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonesql: typing.Union[str, ForwardRef('sqlalchemy.sql.Selectable')] = Nonecon: typing.Union[str, ForwardRef('sqlalchemy.engine.Connection'), ForwardRef('sqlalchemy.engine.Engine'), ForwardRef('sqlite3.Connection')] = Noneindex_col: typing.Union[str, list[str], NoneType] = Nonecoerce_float: bool = Trueparams: typing.Union[list, tuple, dict, NoneType] = Noneparse_dates: typing.Union[list, dict, NoneType] = Nonecolumns: typing.Optional[list[str]] = Nonechunksize: typing.Optional[int] = 10000features: typing.Optional[datasets.features.features.Features] = None )

BuilderConfig untuk SQL.

kelas datasets.packaged_modules.sql.Sql

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Gambar

kelas datasets.packaged_modules.imagefolder.ImageFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

BuilderConfig untuk ImageFolder.

kelas datasets.packaged_modules.imagefolder.ImageFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Audio

kelas datasets.packaged_modules.audiofolder.AudioFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

Konfigurasi Builder untuk AudioFolder.

kelas datasets.packaged_modules.audiofolder.AudioFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Video

kelas datasets.packaged_modules.videofolder.VideoFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

BuilderConfig untuk ImageFolder.

kelas datasets.packaged_modules.videofolder.VideoFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

HDF5

kelas datasets.packaged_modules.hdf5.HDF5Config

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonebatch_size: typing.Optional[int] = Nonefeatures: typing.Optional[datasets.features.features.Features] = None )

BuilderConfig untuk HDF5.

kelas datasets.packaged_modules.hdf5.HDF5

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

ArrowBasedBuilder yang mengonversi file HDF5 menjadi tabel Arrow menggunakan tipe ekstensi HF.

TsFile

kelas datasets.packaged_modules.tsfile.TsFileConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonetable_name: Optional[str] = Nonecolumns: Optional[list[str]] = Nonestart_time: Optional[Any] = Noneend_time: Optional[Any] = Noneinput_batch_size: int = 65536output_batch_size: int = 32features: Optional[datasets.Features] = Noneon_bad_files: Literal['error', 'warn', 'skip'] = 'error'timestamp_unit: Literal['s', 'ms', 'us', 'ns'] = 'ms'timestamp_tz: Optional[str] = None )

Parameter

  • table_name (str, opsional) — Nama tabel yang akan dibaca. Jika tidak disetel, tabel pertama yang ditemukan di file valid pertama akan digunakan. Pencarian tidak membedakan huruf besar dan kecil.
  • columns (list[str], opsional) — Subset kolom FIELD yang akan dipertahankan. Kolom TAG dan kolom TIME selalu selalu dikembalikan (kolom-kolom ini mengidentifikasi perangkat / linimasa nya dan tidak dapat dikecualikan). Nama yang merujuk ke kolom TAG atau TIME, atau ke field yang tidak ada di semua file, akan diselesaikan secara diam-diam: TAG/TIME tetap dikeluarkan seperti biasa, dan field yang tidak pernah terlihat menjadi kolom list yang seluruhnya null. Jika tidak diset, semua FIELD akan dikembalikan.
  • start_time, end_time (datetime, date, pa.TimestampScalar, str ISO-8601, atau int, opsional) — Rentang timestamp inklusif. Batas mana pun dapat diabaikan. Nilai datetime diambil dalam zona waktu mereka sendiri (UTC jika naive); int diinterpretasikan sebagai epoch mentah dalam timestamp_unit.
  • input_batch_size (int, opsional, default 65_536) — Jumlah maksimum baris yang diambil per batch Arrow dari TsFileReader.query_table. Mengontrol memori puncak saat streaming satu perangkat.
  • output_batch_size (int, opsional, default 32) — Jumlah perangkat (baris dataset output) yang dikemas ke dalam setiap Arrow record batch yang diberikan ke writer. Ini juga merupakan granularitas di mana progress bar dataset maju; nilai yang lebih kecil memberikan umpan balik yang lebih responsif pada pembacaan per-perangkat yang lambat, sedangkan nilai yang lebih besar mengurangi overhead per-batch.
  • features (Features, opsional) — Skema Features akhir. Jika diberikan, pemindaian metadata pada file input akan dilewati.
  • on_bad_files (Literal[“error”, “warn”, “skip”], opsional, default “error”) — Apa yang harus dilakukan jika file tidak dapat dibuka atau tidak memiliki tabel yang diminta.
  • timestamp_unit (Literal[“s”, “ms”, “us”, “ns”], opsional, default “ms”) — Unit waktu untuk kolom timestamp. IoTDB menggunakan milidetik secara default.
  • timestamp_tz (str, opsional) — Zona waktu untuk kolom timestamp. None berarti tanpa zona waktu.

BuilderConfig untuk TsFile (model tabel) — format lebar per perangkat.

kelas datasets.packaged_modules.tsfile.TsFile

< >

( *args**kwargs )

Perangkat pembuat format lebar untuk TsFile (model tabel).

Pdf

kelas datasets.packaged_modules.pdffolder.PdfFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

BuilderConfig untuk ImageFolder.

kelas datasets.packaged_modules.pdffolder.PdfFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Nifti

kelas datasets.packaged_modules.niftifolder.NiftiFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

BuilderConfig untuk NiftiFolder.

kelas datasets.packaged_modules.niftifolder.NiftiFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

WebDataset

kelas datasets.packaged_modules.webdataset.WebDataset

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Harbor

kelas datasets.packaged_modules.harbor.HarborConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonestrip_canary: bool = Trueinclude_files: bool = True )

Parameter

  • features (Features, opsional) — Atur fitur yang digunakan untuk meng-cast baris yang dihasilkan. Secara default, fitur dari tugas Harbor digunakan (lihat Harbor).
  • strip_canary (bool, opsional, default True) — Hapus baris komentar “benchmark data canary” di awal dari instruction.md dan dari instruksi langkah-langkah, seperti yang dilakukan Harbor saat mengirimkannya ke agen.
  • include_files (bool, opsional, defaultnya True) — Daftarkan semua file dari setiap tugas (environment/, tests/, solution/…) di kolom files. Atur menjadi False untuk melewati daftar direktori tugas, yang lebih cepat ketika dataset berada pada sistem file jarak jauh.

BuilderConfig untuk repositori tugas Harbor.

kelas datasets.packaged_modules.harbor.Harbor

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Builder untuk repositori tugas Harbor: satu baris per direktori tugas.

Ia menghasilkan fitur-fitur berikut:

  • name (str) — nama tugas, berupa org/name pada [task].name di task.toml, atau nama direktori tugas ketika task.toml tidak memiliki bagian [task].
  • deskripsi (str) — [task].description dari task.toml.
  • instruction (str) — isi dari instruction.md.
  • keywords (list dari str) — [task].keywords dari task.toml.
  • schema_version (str) — schema_version yang dideklarasikan oleh task.toml.
  • config (dict) — seluruh task.toml, sebagai objek JSON.
  • metadata (dict) — bagian [metadata] bebas dari task.toml.
  • files (list dari str) — semua file tugas, relatif terhadap direktori tugas.
  • location (str) — path direktori tugas, relatif terhadap root dataset.
Update on GitHub

←Kelas pembangun Kelas Tabel→