# Metode pemuatan

Metode untuk mendaftar dan memuat dataset:

## Dataset[[datasets.load_dataset]]

#### datasets.load_dataset[[datasets.load_dataset]]

```python
datasets.load_dataset(path: str, name: typing.Optional[str] = None, data_dir: typing.Optional[str] = None, data_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = None, split: typing.Union[str, datasets.splits.Split, list[str], list[datasets.splits.Split], NoneType] = None, cache_dir: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, download_config: typing.Optional[datasets.download.download_config.DownloadConfig] = None, download_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = None, verification_mode: typing.Union[datasets.utils.info_utils.VerificationMode, str, NoneType] = None, keep_in_memory: typing.Optional[bool] = None, save_infos: bool = False, revision: typing.Union[datasets.utils.version.Version, str, NoneType] = None, token: typing.Union[bool, str, NoneType] = None, streaming: bool = False, num_proc: typing.Optional[int] = None, storage_options: typing.Optional[dict] = None, **config_kwargs)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/load.py#L1446)

**Parameter:**

path (`str`) : Path atau nama dataset. - jika `path` adalah repositori dataset di HF hub (daftar semua dataset yang tersedia dengan `huggingface_hub.list_datasets`) -> muat dataset dari file yang didukung di repositori (csv, json, parquet, dll.) mis. `'username/dataset_name'`, sebuah repositori dataset di HF hub yang berisi file data. - jika `path` adalah direktori di dalam Storage Bucket pada HF Hub (daftar bucket Anda dengan `huggingface_hub.list_buckets`) -> muat dataset dari file yang didukung di direktori (csv, json, parquet, dll.) mis. `'buckets/username/bucket_name/my_dataset'`. - jika `path` adalah direktori lokal -> muat dataset dari file yang didukung di direktori (csv, json, parquet, dll.) mis. `'./path/to/directory/with/my/csv/data'`. - jika `path` adalah nama dataset builder dan `data_files` atau `data_dir` ditentukan (builder yang tersedia adalah "json", "csv", "parquet", "arrow", "text", "xml", "webdataset", "imagefolder", "audiofolder", "videofolder", "meshfolder") -> muat dataset dari file di `data_files` atau `data_dir` mis. `'parquet'`. Gunakan path `hf://` seperti `'hf://datasets/username/dataset_name'` untuk mengizinkan hanya remote. Gunakan path absolut untuk mengizinkan hanya lokal.

name (`str`, *opsional*) : Menentukan nama konfigurasi dataset.

data_dir (`str`, *opsional*) : Mendefinisikan `data_dir` dari konfigurasi dataset. Jika ditentukan untuk builder generik (csv, text, dll.) atau dataset Hub dan `data_files` adalah `None`, perilakunya sama dengan meneruskan `os.path.join(data_dir, **)` sebagai `data_files` untuk merujuk semua file dalam sebuah direktori.

data_files (`str` atau `Sequence` atau `Mapping`, *opsional*) : Path ke file data sumber.

split (`Split` atau `str`) : Bagian data mana yang akan dimuat. Jika `None`, akan mengembalikan `dict` dengan semua bagian (biasanya `datasets.Split.TRAIN` dan `datasets.Split.TEST`). Jika diberikan, akan mengembalikan satu Dataset. Bagian dapat digabungkan dan ditentukan seperti pada tensorflow-datasets.

cache_dir (`str`, *opsional*) : Direktori untuk membaca/menulis data. Bawaan adalah `"~/.cache/huggingface/datasets"`.

features (`Features`, *opsional*) : Atur tipe fitur yang akan digunakan untuk dataset ini.

download_config ([DownloadConfig](/docs/datasets/main/id/package_reference/builder_classes#datasets.DownloadConfig), *opsional*) : Parameter konfigurasi unduhan yang spesifik.

download_mode ([DownloadMode](/docs/datasets/main/id/package_reference/builder_classes#datasets.DownloadMode) atau `str`, default `REUSE_DATASET_IF_EXISTS`) : Mode unduhan/generasi.

verification_mode ([VerificationMode](/docs/datasets/main/id/package_reference/builder_classes#datasets.VerificationMode) atau `str`, defaultnya `BASIC_CHECKS`) : Mode verifikasi yang menentukan pemeriksaan yang akan dijalankan pada informasi dataset yang diunduh/diproses (checksum/ukuran/splits/...).

keep_in_memory (`bool`, defaultnya `None`) : Apakah dataset akan disalin ke memori. Jika `None`, dataset tidak akan disalin ke memori kecuali secara eksplisit diaktifkan dengan mengatur `datasets.config.IN_MEMORY_MAX_SIZE` ke nilai bukan nol. Lihat detail lebih lanjut di bagian [improve performance](../cache#improve-performance).

revision ([Versi](/docs/datasets/main/id/package_reference/builder_classes#datasets.Version) atau `str`, *opsional*) : Versi dataset yang akan dimuat. Karena dataset memiliki repositori git mereka sendiri di Datasets Hub, versi default "main" sesuai dengan cabang "main" mereka. Anda dapat menentukan versi yang berbeda dari default "main" dengan menggunakan commit SHA atau git tag dari repositori dataset.

token (`str` atau `bool`, *opsional*) : String atau boolean opsional untuk digunakan sebagai token Bearer untuk file jarak jauh di Datasets Hub. Jika `True`, atau tidak ditentukan, token akan diambil dari `"~/.huggingface"`.

streaming (`bool`, defaultnya `False`) : Jika diatur ke `True`, file data tidak diunduh. Sebaliknya, data akan dialirkan secara progresif saat iterasi pada dataset. Dalam kasus ini, [IterableDataset](/docs/datasets/main/id/package_reference/main_classes#datasets.IterableDataset) atau [IterableDatasetDict](/docs/datasets/main/id/package_reference/main_classes#datasets.IterableDatasetDict) yang dikembalikan. Perhatikan bahwa streaming berfungsi untuk dataset yang menggunakan format data yang mendukung iterasi, seperti txt, csv, jsonl, misalnya. File Json mungkin diunduh sepenuhnya. Selain itu, streaming dari file zip atau gzip jarak jauh didukung, tetapi format kompresi lain seperti rar dan xz belum didukung. Format tgz tidak memungkinkan streaming.

num_proc (`int`, *opsional*, defaultnya `None`) : Jumlah proses saat mengunduh dan menghasilkan dataset secara lokal. Multiprocessing dinonaktifkan secara default.

storage_options (`dict`, *opsional*, defaultnya `None`) : **Eksperimental**. Pasangan kunci/nilai yang akan diteruskan ke backend sistem file dataset, jika ada.

- ****config_kwargs** (argumen kata kunci tambahan) : Argumen kata kunci yang akan diteruskan ke `BuilderConfig` dan digunakan dalam [DatasetBuilder](/docs/datasets/main/id/package_reference/builder_classes#datasets.DatasetBuilder).

**Mengembalikan:** [Dataset](/docs/datasets/main/id/package_reference/main_classes#datasets.Dataset) atau [DatasetDict](/docs/datasets/main/id/package_reference/main_classes#datasets.DatasetDict)

- jika `split` bukan `None`: dataset yang diminta,
- jika `split` adalah `None`, sebuah [DatasetDict](/docs/datasets/main/id/package_reference/main_classes#datasets.DatasetDict) dengan setiap split.

atau [IterableDataset](/docs/datasets/main/id/package_reference/main_classes#datasets.IterableDataset) atau [IterableDatasetDict](/docs/datasets/main/id/package_reference/main_classes#datasets.IterableDatasetDict): jika `streaming=True`

- jika `split` bukan `None`, dataset diminta
- jika `split` adalah `None`, sebuah `~datasets.streaming.IterableDatasetDict` dengan setiap split.

Muat dataset dari Hugging Face Hub, atau dataset lokal.

Anda dapat menemukan daftar dataset di [Hub](https://huggingface.co/datasets) atau dengan `huggingface_hub.list_datasets`.

Dataset adalah direktori yang berisi beberapa file data dalam format generik (JSON, CSV, Parquet, dll.) dan mungkin dalam struktur generik (Webdataset, ImageFolder, AudioFolder, VideoFolder, MeshFolder, dll.)

Fungsi ini melakukan hal-hal berikut di balik layar:

1. Muat pembangun dataset:

   * Temukan format data yang paling umum dalam dataset dan pilih builder yang terkait (JSON, CSV, Parquet, Webdataset, ImageFolder, AudioFolder, MeshFolder, dll.)
   * Temukan file mana yang masuk ke split mana (misalnya train/test) berdasarkan nama file dan direktori atau berdasarkan konfigurasi YAML
   * Anda juga dapat menentukan `data_files` secara manual, serta builder dataset mana yang akan digunakan (misalnya "parquet").

2. Jalankan pembangun dataset:

   Dalam kasus umum:

   * Unduh file data dari dataset jika belum tersedia secara lokal atau di-cache.
   * Proses dan simpan dataset dalam tabel Arrow bertipe untuk keperluan cache.

     Tabel Arrow adalah tabel bertipe dengan panjang arbitrer yang dapat menyimpan objek bersarang dan dipetakan ke tipe generik numpy/pandas/python. Tabel ini dapat diakses langsung dari disk, dimuat ke RAM, atau bahkan dialirkan melalui web.

   Dalam kasus streaming:

   * Jangan mengunduh atau meng-cache apa pun. Sebaliknya, dataset dimuat secara lazy dan akan di-stream secara on-the-fly saat diiterasi.

3. Kembalikan dataset yang dibangun dari split yang diminta dalam `split` (default: semua).

Contoh:

Muat dataset dari Hugging Face Hub:

```py
>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train')

# Load a subset or dataset configuration (here 'sst2')
>>> from datasets import load_dataset
>>> ds = load_dataset('nyu-mll/glue', 'sst2', split='train')

# Manual mapping of data files to splits
>>> data_files = {'train': 'train.csv', 'test': 'test.csv'}
>>> ds = load_dataset('namespace/your_dataset_name', data_files=data_files)

# Manual selection of a directory to load
>>> ds = load_dataset('namespace/your_dataset_name', data_dir='folder_name')
```

Muat dataset dari Storage Bucket di Hugging Face Hub:

```py
>>> from datasets import load_dataset
>>> ds = load_dataset('buckets/username/bucket_name/rotten_tomatoes', split='train')
```

Muat dataset lokal:

```py
# Load a CSV file
>>> from datasets import load_dataset
>>> ds = load_dataset('csv', data_files='path/to/local/my_dataset.csv')

# Load a JSON file
>>> from datasets import load_dataset
>>> ds = load_dataset('json', data_files='path/to/local/my_dataset.json')
```

Muat [IterableDataset](/docs/datasets/main/id/package_reference/main_classes#datasets.IterableDataset):

```py
>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train', streaming=True)
```

Muat dataset gambar dengan pembangun dataset `ImageFolder`:

```py
>>> from datasets import load_dataset
>>> ds = load_dataset('imagefolder', data_dir='/path/to/images', split='train')
```

#### datasets.load_from_disk[[datasets.load_from_disk]]

```python
datasets.load_from_disk(dataset_path: typing.Union[str, bytes, os.PathLike], keep_in_memory: typing.Optional[bool] = None, storage_options: typing.Optional[dict] = None)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/load.py#L1704)

**Parameter:**

dataset_path (`path-like`) : Path (mis. `"dataset/train"`) atau URI jarak jauh (mis. `"s3://my-bucket/dataset/train"`) dari direktori [Dataset](/docs/datasets/main/id/package_reference/main_classes#datasets.Dataset) atau [DatasetDict](/docs/datasets/main/id/package_reference/main_classes#datasets.DatasetDict) tempat dataset/dataset-dict akan dimuat.

keep_in_memory (`bool`, defaultnya `None`) : Apakah dataset akan disalin ke memori. Jika `None`, dataset tidak akan disalin ke memori kecuali secara eksplisit diaktifkan dengan mengatur `datasets.config.IN_MEMORY_MAX_SIZE` ke nilai bukan nol. Lihat detail lebih lanjut di bagian [improve performance](../cache#improve-performance).

storage_options (`dict`, *opsional*) : Pasangan key/value yang akan diteruskan ke backend file-system, jika ada.

**Mengembalikan:** [Dataset](/docs/datasets/main/id/package_reference/main_classes#datasets.Dataset) atau [DatasetDict](/docs/datasets/main/id/package_reference/main_classes#datasets.DatasetDict)

- Jika `dataset_path` adalah path dari direktori dataset: dataset yang diminta.
- Jika `dataset_path` adalah path dari direktori dataset dict, sebuah [DatasetDict](/docs/datasets/main/id/package_reference/main_classes#datasets.DatasetDict) dengan setiap split.

Memuat dataset yang sebelumnya disimpan menggunakan [save_to_disk()](/docs/datasets/main/id/package_reference/main_classes#datasets.Dataset.save_to_disk) dari direktori dataset, atau dari sistem file menggunakan implementasi apa pun dari `fsspec.spec.AbstractFileSystem`.

Contoh:

```py
>>> from datasets import load_from_disk
>>> ds = load_from_disk('path/to/dataset/directory')
```

#### datasets.load_dataset_builder[[datasets.load_dataset_builder]]

```python
datasets.load_dataset_builder(path: str, name: typing.Optional[str] = None, data_dir: typing.Optional[str] = None, data_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = None, cache_dir: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, download_config: typing.Optional[datasets.download.download_config.DownloadConfig] = None, download_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = None, revision: typing.Union[datasets.utils.version.Version, str, NoneType] = None, token: typing.Union[bool, str, NoneType] = None, storage_options: typing.Optional[dict] = None, **config_kwargs)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/load.py#L1187)

**Parameter:**

path (`str`) : Path atau nama dataset. - jika `path` adalah repositori dataset di HF hub (daftar semua dataset yang tersedia dengan `huggingface_hub.list_datasets`) -> muat dataset builder dari file yang didukung di repositori (csv, json, parquet, dll.) mis. `'username/dataset_name'`, sebuah repositori dataset di HF hub yang berisi file data. - jika `path` adalah direktori di dalam Storage Bucket pada HF Hub (daftar bucket Anda dengan `huggingface_hub.list_buckets`) -> muat dataset dari file yang didukung di direktori (csv, json, parquet, dll.) mis. `'buckets/username/bucket_name/my_dataset'`. - jika `path` adalah direktori lokal -> muat dataset builder dari file yang didukung di direktori (csv, json, parquet, dll.) mis. `'./path/to/directory/with/my/csv/data'`. - jika `path` adalah nama dataset builder dan `data_files` atau `data_dir` ditentukan (builder yang tersedia adalah "json", "csv", "parquet", "arrow", "text", "xml", "webdataset", "imagefolder", "audiofolder", "videofolder", "meshfolder") -> muat dataset builder dari file di `data_files` atau `data_dir` mis. `'parquet'`. Gunakan path `hf://` seperti `'hf://datasets/username/dataset_name'` untuk mengizinkan hanya remote. Gunakan path absolut untuk mengizinkan hanya lokal.

name (`str`, *opsional*) : Menentukan nama konfigurasi dataset.

data_dir (`str`, *opsional*) : Mendefinisikan `data_dir` dari konfigurasi dataset. Jika ditentukan untuk builder generik (csv, text, dll.) atau dataset Hub dan `data_files` adalah `None`, perilakunya sama dengan meneruskan `os.path.join(data_dir, **)` sebagai `data_files` untuk merujuk semua file dalam sebuah direktori.

data_files (`str` atau `Sequence` atau `Mapping`, *opsional*) : Path ke file data sumber.

cache_dir (`str`, *opsional*) : Direktori untuk membaca/menulis data. Bawaan adalah `"~/.cache/huggingface/datasets"`.

features ([Fitur](/docs/datasets/main/id/package_reference/main_classes#datasets.Features), *opsional*) : Atur tipe fitur yang akan digunakan untuk dataset ini.

download_config ([DownloadConfig](/docs/datasets/main/id/package_reference/builder_classes#datasets.DownloadConfig), *opsional*) : Parameter konfigurasi unduhan yang spesifik.

download_mode ([DownloadMode](/docs/datasets/main/id/package_reference/builder_classes#datasets.DownloadMode) atau `str`, default `REUSE_DATASET_IF_EXISTS`) : Mode unduhan/generasi.

revision ([Versi](/docs/datasets/main/id/package_reference/builder_classes#datasets.Version) atau `str`, *opsional*) : Versi dataset yang akan dimuat. Karena dataset memiliki repositori git mereka sendiri di Datasets Hub, versi default "main" sesuai dengan cabang "main" mereka. Anda dapat menentukan versi yang berbeda dari default "main" dengan menggunakan commit SHA atau git tag dari repositori dataset.

token (`str` atau `bool`, *opsional*) : String atau boolean opsional untuk digunakan sebagai token Bearer untuk file jarak jauh di Datasets Hub. Jika `True`, atau tidak ditentukan, token akan diambil dari `"~/.huggingface"`.

storage_options (`dict`, *opsional*, defaultnya `None`) : **Eksperimental**. Pasangan kunci/nilai yang akan diteruskan ke backend sistem file dataset, jika ada.

- ****config_kwargs** (argumen kata kunci tambahan) : Argumen kata kunci yang akan diteruskan ke [BuilderConfig](/docs/datasets/main/id/package_reference/builder_classes#datasets.BuilderConfig) dan digunakan dalam [DatasetBuilder](/docs/datasets/main/id/package_reference/builder_classes#datasets.DatasetBuilder).

**Mengembalikan:**

[DatasetBuilder](/docs/datasets/main/id/package_reference/builder_classes#datasets.DatasetBuilder)

Muat pembangun dataset yang dapat digunakan untuk:

- Periksa informasi umum yang diperlukan untuk membangun dataset (direktori cache, konfigurasi, info dataset, fitur, file data, dll.)
- Unduh dan siapkan dataset sebagai file Arrow di cache
- Dapatkan dataset streaming tanpa mengunduh atau meng-cache apa pun

Anda dapat menemukan daftar dataset di [Hub](https://huggingface.co/datasets) atau dengan `huggingface_hub.list_datasets`.

Dataset adalah direktori yang berisi beberapa file data dalam format generik (JSON, CSV, Parquet, dll.) dan mungkin dalam struktur generik (Webdataset, ImageFolder, AudioFolder, VideoFolder, MeshFolder, dll.)

Contoh:

```py
>>> from datasets import load_dataset_builder
>>> ds_builder = load_dataset_builder('cornell-movie-review-data/rotten_tomatoes')
>>> ds_builder.info.features
{'label': ClassLabel(names=['neg', 'pos']),
 'text': Value('string')}
```

#### datasets.get_dataset_config_names[[datasets.get_dataset_config_names]]

```python
datasets.get_dataset_config_names(path: str, revision: typing.Union[datasets.utils.version.Version, str, NoneType] = None, download_config: typing.Optional[datasets.download.download_config.DownloadConfig] = None, download_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = None, data_files: typing.Union[str, list, dict, NoneType] = None, **download_kwargs)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/inspect.py#L109)

**Parameter:**

path (`str`) : path ke repositori dataset. Bisa berupa:  - path lokal ke direktori dataset yang berisi file data, misalnya `'./dataset/squad'` - identifier dataset di Hugging Face Hub (daftar semua dataset dan id yang tersedia dengan `huggingface_hub.list_datasets`), misalnya `'rajpurkar/squad'`, `'nyu-mll/glue'` atau``'openai/webtext'`

revision (`Union[str, datasets.Version]`, *opsional*) : Jika ditentukan, modul dataset akan dimuat dari repositori datasets pada versi ini. Secara default: - diset ke versi lokal dari lib. - juga akan mencoba memuatnya dari cabang utama jika tidak tersedia pada versi lokal dari lib. Menentukan versi yang berbeda dari versi lokal lib Anda dapat menyebabkan masalah kompatibilitas.

download_config ([DownloadConfig](/docs/datasets/main/id/package_reference/builder_classes#datasets.DownloadConfig), *opsional*) : Parameter konfigurasi unduhan yang spesifik.

download_mode ([DownloadMode](/docs/datasets/main/id/package_reference/builder_classes#datasets.DownloadMode) atau `str`, default `REUSE_DATASET_IF_EXISTS`) : Mode unduhan/generasi.

data_files (`Union[Dict, List, str]`, *opsional*) : Mendefinisikan data_files dari konfigurasi dataset.

- ****download_kwargs** (argumen kata kunci tambahan) : Atribut opsional untuk [DownloadConfig](/docs/datasets/main/id/package_reference/builder_classes#datasets.DownloadConfig) yang akan menimpa atribut di `download_config` jika diberikan, misalnya `token`.

Dapatkan daftar nama konfigurasi yang tersedia untuk dataset tertentu.

Contoh:

```py
>>> from datasets import get_dataset_config_names
>>> get_dataset_config_names("nyu-mll/glue")
['cola',
 'sst2',
 'mrpc',
 'qqp',
 'stsb',
 'mnli',
 'mnli_mismatched',
 'mnli_matched',
 'qnli',
 'rte',
 'wnli',
 'ax']
```

#### datasets.get_dataset_infos[[datasets.get_dataset_infos]]

```python
datasets.get_dataset_infos(path: str, data_files: typing.Union[str, list, dict, NoneType] = None, download_config: typing.Optional[datasets.download.download_config.DownloadConfig] = None, download_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = None, revision: typing.Union[datasets.utils.version.Version, str, NoneType] = None, token: typing.Union[bool, str, NoneType] = None, **config_kwargs)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/inspect.py#L42)

**Parameter:**

path (`str`) : path ke repositori dataset. Bisa berupa:  - path lokal ke direktori dataset yang berisi file data, misalnya `'./dataset/squad'` - identifier dataset di Hugging Face Hub (daftar semua dataset dan id yang tersedia dengan `huggingface_hub.list_datasets`), misalnya `'rajpurkar/squad'`, `'nyu-mll/glue'` atau``'openai/webtext'`

revision (`Union[str, datasets.Version]`, *opsional*) : Jika ditentukan, modul dataset akan dimuat dari repositori datasets pada versi ini. Secara default: - diset ke versi lokal dari lib. - juga akan mencoba memuatnya dari cabang utama jika tidak tersedia pada versi lokal dari lib. Menentukan versi yang berbeda dari versi lokal lib Anda dapat menyebabkan masalah kompatibilitas.

download_config ([DownloadConfig](/docs/datasets/main/id/package_reference/builder_classes#datasets.DownloadConfig), *opsional*) : Parameter konfigurasi unduhan yang spesifik.

download_mode ([DownloadMode](/docs/datasets/main/id/package_reference/builder_classes#datasets.DownloadMode) atau `str`, default `REUSE_DATASET_IF_EXISTS`) : Mode unduhan/generasi.

data_files (`Union[Dict, List, str]`, *opsional*) : Mendefinisikan data_files dari konfigurasi dataset.

token (`str` atau `bool`, *opsional*) : String atau boolean opsional untuk digunakan sebagai token Bearer untuk file jarak jauh di Datasets Hub. Jika `True`, atau tidak ditentukan, token akan diambil dari `"~/.huggingface"`.

- ****config_kwargs** (argumen kata kunci tambahan) : Atribut opsional untuk kelas builder yang akan menimpa atribut jika diberikan.

Dapatkan informasi meta tentang dataset, dikembalikan sebagai dict yang memetakan nama config ke DatasetInfoDict.

Contoh:

```py
>>> from datasets import get_dataset_infos
>>> get_dataset_infos('cornell-movie-review-data/rotten_tomatoes')
{'default': DatasetInfo(description="Movie Review Dataset.
 is a dataset of containing 5,331 positive and 5,331 negative processed
ences from Rotten Tomatoes movie reviews...), ...}
```

#### datasets.get_dataset_split_names[[datasets.get_dataset_split_names]]

```python
datasets.get_dataset_split_names(path: str, config_name: typing.Optional[str] = None, data_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = None, download_config: typing.Optional[datasets.download.download_config.DownloadConfig] = None, download_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = None, revision: typing.Union[datasets.utils.version.Version, str, NoneType] = None, token: typing.Union[bool, str, NoneType] = None, **config_kwargs)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/inspect.py#L295)

**Parameter:**

path (`str`) : path ke repositori dataset. Bisa berupa:  - path lokal ke direktori dataset yang berisi file data, misalnya `'./dataset/squad'` - identifier dataset di Hugging Face Hub (daftar semua dataset dan id yang tersedia dengan `huggingface_hub.list_datasets`), misalnya `'rajpurkar/squad'`, `'nyu-mll/glue'` atau``'openai/webtext'`

config_name (`str`, *opsional*) : Menentukan nama konfigurasi dataset.

data_files (`str` atau `Sequence` atau `Mapping`, *opsional*) : Path ke file data sumber.

download_config ([DownloadConfig](/docs/datasets/main/id/package_reference/builder_classes#datasets.DownloadConfig), *opsional*) : Parameter konfigurasi unduhan yang spesifik.

download_mode ([DownloadMode](/docs/datasets/main/id/package_reference/builder_classes#datasets.DownloadMode) atau `str`, default `REUSE_DATASET_IF_EXISTS`) : Mode unduhan/generasi.

revision ([Versi](/docs/datasets/main/id/package_reference/builder_classes#datasets.Version) atau `str`, *opsional*) : Versi dataset yang akan dimuat. Karena dataset memiliki repositori git mereka sendiri di Datasets Hub, versi default "main" sesuai dengan cabang "main" mereka. Anda dapat menentukan versi yang berbeda dari default "main" dengan menggunakan commit SHA atau git tag dari repositori dataset.

token (`str` atau `bool`, *opsional*) : String atau boolean opsional untuk digunakan sebagai token Bearer untuk file jarak jauh di Datasets Hub. Jika `True`, atau tidak ditentukan, token akan diambil dari `"~/.huggingface"`.

- ****config_kwargs** (argumen kata kunci tambahan) : Atribut opsional untuk kelas builder yang akan menimpa atribut jika diberikan.

Dapatkan daftar split yang tersedia untuk konfigurasi dan dataset tertentu.

Contoh:

```py
>>> from datasets import get_dataset_split_names
>>> get_dataset_split_names('cornell-movie-review-data/rotten_tomatoes')
['train', 'validation', 'test']
```

## Dari file

Konfigurasi yang digunakan untuk memuat file data. Mereka digunakan saat memuat file lokal atau repositori dataset:

- file lokal: `load_dataset("parquet", data_dir="path/to/data/dir")`
- repository dataset: `load_dataset("allenai/c4")`

Anda dapat meneruskan argumen ke `load_dataset` untuk mengonfigurasi pemuatan data. Misalnya, Anda dapat menentukan parameter `sep` untuk mendefinisikan [CsvConfig](/docs/datasets/main/id/package_reference/loading_methods#datasets.packaged_modules.csv.CsvConfig) yang digunakan untuk memuat data:

```python
load_dataset("csv", data_dir="path/to/data/dir", sep="\t")
```

### Teks[[datasets.packaged_modules.text.TextConfig]]

#### datasets.packaged_modules.text.TextConfig[[datasets.packaged_modules.text.TextConfig]]

```python
datasets.packaged_modules.text.TextConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, encoding: str = 'utf-8', encoding_errors: typing.Optional[str] = None, chunksize: int = 10485760, keep_linebreaks: bool = False, sample_by: typing.Literal['line', 'paragraph', 'document'] = 'line')
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/text/text.py#L17)

**Parameter:**

features : (`Features`, *opsional*): Ubah data menjadi `features`.

encoding : (`str`, defaultnya "utf-8"): Encoding untuk mendekode file.

encoding_errors : (`str`, *opsional*): Argumen untuk menentukan tindakan yang dilakukan jika terjadi kesalahan encoding. Ini sama dengan argumen `error` di `open()`.

chunksize : (`Features`, *opsional*, default "10MB"): Ukuran chunk untuk membaca data.

keep_linebreaks : (`bool`, defaultnya False): Apakah akan mempertahankan baris baru.

sample_by (`Literal["line", "paragraph", "document"]`, defaultnya "line") : Apakah memuat data per baris, paragraf, atau dokumen. Secara default, satu baris dalam dataset = satu baris.

BuilderConfig untuk file teks.

#### datasets.packaged_modules.text.Text[[datasets.packaged_modules.text.Text]]

```python
datasets.packaged_modules.text.Text(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/text/text.py#L45)

### CSV[[datasets.packaged_modules.csv.CsvConfig]]

#### datasets.packaged_modules.csv.CsvConfig[[datasets.packaged_modules.csv.CsvConfig]]

```python
datasets.packaged_modules.csv.CsvConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, sep: str = ',', delimiter: typing.Optional[str] = None, header: typing.Union[int, list[int], str, NoneType] = 'infer', names: typing.Optional[list[str]] = None, column_names: typing.Optional[list[str]] = None, index_col: typing.Union[int, str, list[int], list[str], NoneType] = None, usecols: typing.Union[list[int], list[str], NoneType] = None, prefix: typing.Optional[str] = None, mangle_dupe_cols: bool = True, engine: typing.Optional[typing.Literal['c', 'python', 'pyarrow']] = None, converters: dict = None, true_values: typing.Optional[list] = None, false_values: typing.Optional[list] = None, skipinitialspace: bool = False, skiprows: typing.Union[int, list[int], NoneType] = None, nrows: typing.Optional[int] = None, na_values: typing.Union[str, list[str], NoneType] = None, keep_default_na: bool = True, na_filter: bool = True, verbose: bool = False, skip_blank_lines: bool = True, thousands: typing.Optional[str] = None, decimal: str = '.', lineterminator: typing.Optional[str] = None, quotechar: str = '"', quoting: int = 0, escapechar: typing.Optional[str] = None, comment: typing.Optional[str] = None, encoding: typing.Optional[str] = None, dialect: typing.Optional[str] = None, error_bad_lines: bool = True, warn_bad_lines: bool = True, skipfooter: int = 0, doublequote: bool = True, memory_map: bool = False, float_precision: typing.Optional[str] = None, chunksize: int = 10000, features: typing.Optional[datasets.features.features.Features] = None, encoding_errors: typing.Optional[str] = 'strict', on_bad_lines: typing.Literal['error', 'warn', 'skip'] = 'error', date_format: typing.Optional[str] = None)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/csv/csv.py#L25)

BuilderConfig untuk CSV.

#### datasets.packaged_modules.csv.Csv[[datasets.packaged_modules.csv.Csv]]

```python
datasets.packaged_modules.csv.Csv(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/csv/csv.py#L145)

### JSON[[datasets.packaged_modules.json.JsonConfig]]

#### datasets.packaged_modules.json.JsonConfig[[datasets.packaged_modules.json.JsonConfig]]

```python
datasets.packaged_modules.json.JsonConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, encoding: str = 'utf-8', encoding_errors: typing.Optional[str] = None, field: typing.Optional[str] = None, use_threads: bool = True, block_size: typing.Optional[int] = None, chunksize: int = 10485760, newlines_in_values: typing.Optional[bool] = None, on_mixed_types: typing.Optional[typing.Literal['use_json']] = 'use_json', parse_agent_traces: bool = True)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/json/json.py#L46)

BuilderConfig untuk JSON.

#### datasets.Json[[datasets.Json]]

```python
datasets.Json(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/json/json.py#L64)

### XML[[datasets.packaged_modules.xml.XmlConfig]]

#### datasets.packaged_modules.xml.XmlConfig[[datasets.packaged_modules.xml.XmlConfig]]

```python
datasets.packaged_modules.xml.XmlConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, encoding: str = 'utf-8', encoding_errors: typing.Optional[str] = None)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/xml/xml.py#L15)

BuilderConfig untuk file xml.

#### datasets.packaged_modules.xml.Xml[[datasets.packaged_modules.xml.Xml]]

```python
datasets.packaged_modules.xml.Xml(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/xml/xml.py#L23)

### Parquet[[datasets.packaged_modules.parquet.ParquetConfig]]

#### datasets.packaged_modules.parquet.ParquetConfig[[datasets.packaged_modules.parquet.ParquetConfig]]

```python
datasets.packaged_modules.parquet.ParquetConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, batch_size: typing.Optional[int] = None, columns: typing.Optional[list[str]] = None, features: typing.Optional[datasets.features.features.Features] = None, filters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = None, fragment_scan_options: typing.Optional[pyarrow._dataset_parquet.ParquetFragmentScanOptions] = None, on_bad_files: typing.Literal['error', 'warn', 'skip'] = 'error')
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/parquet/parquet.py#L20)

**Parameter:**

batch_size (`int`, *opsional*) : Ukuran RecordBatches yang akan diiterasi. Nilainya secara default adalah ukuran row group (yang didefinisikan oleh row group pertama).

columns (`list[str]`, *opsional*) : Daftar kolom yang akan dimuat, kolom lainnya diabaikan. Secara default, semua kolom dimuat.

features : (`Features`, *opsional*): Ubah data menjadi `features`.

filters (`Union[pyarrow.dataset.Expression, list[tuple], list[list[tuple]]]`, *opsional*) : Kembalikan hanya baris yang cocok dengan filter. Jika memungkinkan, predikat akan didorong ke bawah untuk memanfaatkan informasi partisi atau metadata internal yang ditemukan di sumber data, misalnya statistik Parquet. Jika tidak, filterkan RecordBatches yang dimuat sebelum menghasilkannya.

fragment_scan_options (`pyarrow.dataset.ParquetFragmentScanOptions`, *opsional*) : Opsi khusus pemindaian untuk fragmen Parquet. Ini sangat berguna untuk mengatur buffering dan caching.

on_bad_files (`Literal["error", "warn", "skip"]`, *opsional*, defaultnya "error") : Tentukan tindakan yang dilakukan saat menemukan file yang rusak (file yang tidak dapat dibaca). Nilai yang diizinkan adalah : * 'error', lempar Exception saat menemukan file yang rusak. * 'warn', lempar peringatan saat menemukan file yang rusak dan lewati file tersebut. * 'skip', lewati file yang rusak tanpa lempar atau peringatan saat ditemukan.

BuilderConfig untuk Parquet.

Contoh:

Muat subset kolom:

```python
>>> ds = load_dataset(parquet_dataset_id, columns=["col_0", "col_1"])
```

Alirkan data dan saring data secara efisien, dengan kemungkinan melewati seluruh file atau grup baris:

```python
>>> filters = [("col_0", "==", 0)]
>>> ds = load_dataset(parquet_dataset_id, streaming=True, filters=filters)
```

Tingkatkan ukuran permintaan minimum saat streaming dari 32MiB (default) menjadi 128MiB dan aktifkan prefetching:

```python
>>> import pyarrow
>>> import pyarrow.dataset
>>> fragment_scan_options = pyarrow.dataset.ParquetFragmentScanOptions(
...     cache_options=pyarrow.CacheOptions(
...         prefetch_limit=1,
...         range_size_limit=128 << 20
...     ),
... )
>>> ds = load_dataset(parquet_dataset_id, streaming=True, fragment_scan_options=fragment_scan_options)
```

#### datasets.packaged_modules.parquet.Parquet[[datasets.packaged_modules.parquet.Parquet]]

```python
datasets.packaged_modules.parquet.Parquet(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/parquet/parquet.py#L93)

### Arrow[[datasets.packaged_modules.arrow.ArrowConfig]]

#### datasets.packaged_modules.arrow.ArrowConfig[[datasets.packaged_modules.arrow.ArrowConfig]]

```python
datasets.packaged_modules.arrow.ArrowConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/arrow/arrow.py#L15)

BuilderConfig untuk Arrow.

#### datasets.packaged_modules.arrow.Arrow[[datasets.packaged_modules.arrow.Arrow]]

```python
datasets.packaged_modules.arrow.Arrow(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/arrow/arrow.py#L24)

### Vortex[[datasets.packaged_modules.vortex.VortexConfig]]

#### datasets.packaged_modules.vortex.VortexConfig[[datasets.packaged_modules.vortex.VortexConfig]]

```python
datasets.packaged_modules.vortex.VortexConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, batch_size: typing.Optional[int] = None, columns: typing.Optional[list[str]] = None, features: typing.Optional[datasets.features.features.Features] = None, filters: typing.Union[ForwardRef('vortex.expr.Expr'), list[tuple], list[list[tuple]], NoneType] = None, on_bad_files: typing.Literal['error', 'warn', 'skip'] = 'error')
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/vortex/vortex.py#L54)

**Parameter:**

batch_size (`int`, *opsional*) : Ukuran RecordBatches yang akan diiterasi. Nilai default ditentukan oleh pemindai Vortex.

columns (`list[str]`, *opsional*) : Daftar kolom yang akan dimuat, kolom lainnya diabaikan. Secara default, semua kolom dimuat.

features : (`Features`, *opsional*): Ubah data menjadi `features`.

filters (`Union[vortex.expr.Expr, list[tuple], list[list[tuple]]]`, *opsional*) : Mengembalikan hanya baris yang cocok dengan filter. Predikat didorong ke bawah ke dalam pemindaian Vortex sehingga hanya baris yang cocok yang dibaca. Filter yang diberikan sebagai daftar tuple (DNF, seperti yang diterima oleh pemuat Parquet) dikonversi menjadi ekspresi Vortex. Nilai null mengikuti semantik SQL: null tidak memenuhi perbandingan apa pun, sehingga baris yang kolomnya difilter bernilai null tidak pernah dikembalikan. Perhatikan bahwa `not in` dengan demikian membuang nilai null, sedangkan pemuat Parquet menyimpannya karena membangun `~field.isin(values)` dan null tidak ada dalam himpunan tersebut.

on_bad_files (`Literal["error", "warn", "skip"]`, *opsional*, defaultnya "error") : Tentukan tindakan yang dilakukan saat menemukan file yang rusak (file yang tidak dapat dibaca). Nilai yang diizinkan adalah : * 'error', lempar Exception saat menemukan file yang rusak. * 'warn', lempar peringatan saat menemukan file yang rusak dan lewati file tersebut. * 'skip', lewati file yang rusak tanpa lempar atau peringatan saat ditemukan.

BuilderConfig untuk Vortex.

Contoh:

Muat subset kolom:

```python
>>> ds = load_dataset(vortex_dataset_id, columns=["col_0", "col_1"])
```

Alirkan data dan saring data secara efisien, lewati seluruh file atau chunk jika memungkinkan:

```python
>>> filters = [("col_0", "==", 0)]
>>> ds = load_dataset(vortex_dataset_id, streaming=True, filters=filters)
```

#### datasets.packaged_modules.vortex.Vortex[[datasets.packaged_modules.vortex.Vortex]]

```python
datasets.packaged_modules.vortex.Vortex(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/vortex/vortex.py#L226)

### SQL[[datasets.packaged_modules.sql.SqlConfig]]

#### datasets.packaged_modules.sql.SqlConfig[[datasets.packaged_modules.sql.SqlConfig]]

```python
datasets.packaged_modules.sql.SqlConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, sql: typing.Union[str, ForwardRef('sqlalchemy.sql.Selectable')] = None, con: typing.Union[str, ForwardRef('sqlalchemy.engine.Connection'), ForwardRef('sqlalchemy.engine.Engine'), ForwardRef('sqlite3.Connection')] = None, index_col: typing.Union[str, list[str], NoneType] = None, coerce_float: bool = True, params: typing.Union[list, tuple, dict, NoneType] = None, parse_dates: typing.Union[list, dict, NoneType] = None, columns: typing.Optional[list[str]] = None, chunksize: typing.Optional[int] = 10000, features: typing.Optional[datasets.features.features.Features] = None)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/sql/sql.py#L25)

BuilderConfig untuk SQL.

#### datasets.packaged_modules.sql.Sql[[datasets.packaged_modules.sql.Sql]]

```python
datasets.packaged_modules.sql.Sql(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/sql/sql.py#L92)

### Gambar[[datasets.packaged_modules.imagefolder.ImageFolderConfig]]

#### datasets.packaged_modules.imagefolder.ImageFolderConfig[[datasets.packaged_modules.imagefolder.ImageFolderConfig]]

```python
datasets.packaged_modules.imagefolder.ImageFolderConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, drop_labels: bool = None, drop_metadata: bool = None, metadata_filenames: list = None, filters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = None, decode_num_threads: int = 32)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/imagefolder/imagefolder.py#L9)

BuilderConfig untuk ImageFolder.

#### datasets.packaged_modules.imagefolder.ImageFolder[[datasets.packaged_modules.imagefolder.ImageFolder]]

```python
datasets.packaged_modules.imagefolder.ImageFolder(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/imagefolder/imagefolder.py#L19)

### Audio[[datasets.packaged_modules.audiofolder.AudioFolderConfig]]

#### datasets.packaged_modules.audiofolder.AudioFolderConfig[[datasets.packaged_modules.audiofolder.AudioFolderConfig]]

```python
datasets.packaged_modules.audiofolder.AudioFolderConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, drop_labels: bool = None, drop_metadata: bool = None, metadata_filenames: list = None, filters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = None, decode_num_threads: int = 32)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/audiofolder/audiofolder.py#L9)

Konfigurasi Builder untuk AudioFolder.

#### datasets.packaged_modules.audiofolder.AudioFolder[[datasets.packaged_modules.audiofolder.AudioFolder]]

```python
datasets.packaged_modules.audiofolder.AudioFolder(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/audiofolder/audiofolder.py#L19)

### Video[[datasets.packaged_modules.videofolder.VideoFolderConfig]]

#### datasets.packaged_modules.videofolder.VideoFolderConfig[[datasets.packaged_modules.videofolder.VideoFolderConfig]]

```python
datasets.packaged_modules.videofolder.VideoFolderConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, drop_labels: bool = None, drop_metadata: bool = None, metadata_filenames: list = None, filters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = None, decode_num_threads: int = 32)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/videofolder/videofolder.py#L9)

BuilderConfig untuk ImageFolder.

#### datasets.packaged_modules.videofolder.VideoFolder[[datasets.packaged_modules.videofolder.VideoFolder]]

```python
datasets.packaged_modules.videofolder.VideoFolder(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/videofolder/videofolder.py#L19)

### HDF5[[datasets.packaged_modules.hdf5.HDF5Config]]

#### datasets.packaged_modules.hdf5.HDF5Config[[datasets.packaged_modules.hdf5.HDF5Config]]

```python
datasets.packaged_modules.hdf5.HDF5Config(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, batch_size: typing.Optional[int] = None, features: typing.Optional[datasets.features.features.Features] = None)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/hdf5/hdf5.py#L33)

BuilderConfig untuk HDF5.

#### datasets.packaged_modules.hdf5.HDF5[[datasets.packaged_modules.hdf5.HDF5]]

```python
datasets.packaged_modules.hdf5.HDF5(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/hdf5/hdf5.py#L40)

ArrowBasedBuilder yang mengonversi file HDF5 menjadi tabel Arrow menggunakan tipe ekstensi HF.

### TsFile[[datasets.packaged_modules.tsfile.TsFileConfig]]

#### datasets.packaged_modules.tsfile.TsFileConfig[[datasets.packaged_modules.tsfile.TsFileConfig]]

```python
datasets.packaged_modules.tsfile.TsFileConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, table_name: Optional[str] = None, columns: Optional[list[str]] = None, start_time: Optional[Any] = None, end_time: Optional[Any] = None, input_batch_size: int = 65536, output_batch_size: int = 32, features: Optional[datasets.Features] = None, on_bad_files: Literal['error', 'warn', 'skip'] = 'error', timestamp_unit: Literal['s', 'ms', 'us', 'ns'] = 'ms', timestamp_tz: Optional[str] = None)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/tsfile/tsfile.py#L143)

**Parameter:**

table_name (*str*, *opsional*) : Nama tabel yang akan dibaca. Jika tidak disetel, tabel pertama yang ditemukan dalam file valid pertama akan digunakan. Pencarian tidak membedakan huruf besar dan kecil.

columns (*list[str]*, *opsional*) : Subset kolom FIELD yang akan dipertahankan. Kolom TAG dan kolom TIME *selalu* dikembalikan (karena keduanya mengidentifikasi perangkat / linimasa perangkat dan tidak dapat dikecualikan). Nama yang merujuk pada kolom TAG atau TIME, atau pada field yang tidak ada di semua file, akan diselesaikan secara diam-diam: TAG/TIME tetap dikeluarkan seperti biasa, dan field yang tidak pernah ditemukan menjadi kolom list yang seluruhnya null. Jika tidak diset, semua FIELD akan dikembalikan.

start_time, end_time (*datetime*, *date*, *pa.TimestampScalar*, *str* ISO-8601, atau *int*, *opsional*) : Rentang timestamp inklusif. Salah satu batas boleh diabaikan. Nilai `datetime` diambil dalam tz-nya sendiri (UTC jika naive); `int` diinterpretasikan sebagai epoch mentah dalam `timestamp_unit`.

input_batch_size (*int*, *opsional*, default 65_536) : Jumlah maksimum baris yang diambil per batch Arrow dari `TsFileReader.query_table`. Mengontrol memori puncak saat streaming satu perangkat.

output_batch_size (*int*, *optional*, defaultnya 32) : Jumlah perangkat (baris dataset output) yang dikemas ke dalam setiap Arrow record batch yang diberikan ke writer. Juga merupakan granularitas di mana progress bar dataset maju; nilai yang lebih kecil memberikan umpan balik yang lebih responsif pada pembacaan per-perangkat yang lambat, sedangkan nilai yang lebih besar mengurangi overhead per-batch.

features (*Fitur*, *opsional*) : Skema Final Features. Jika disediakan, pemindaian metadata pada file input akan dilewati.

on_bad_files (*Literal["error", "warn", "skip"]*, *opsional*, defaultnya "error") : Apa yang harus dilakukan jika file tidak dapat dibuka atau tidak memiliki tabel yang diminta.

timestamp_unit (*Literal["s", "ms", "us", "ns"]*, *opsional*, defaultnya "ms") : Satuan waktu untuk kolom timestamp. IoTDB secara default menggunakan milidetik.

timestamp_tz (*str*, *opsional*) : Zona waktu untuk kolom timestamp. `None` berarti tanpa zona waktu.

BuilderConfig untuk TsFile (model tabel) — format lebar per perangkat.

#### datasets.packaged_modules.tsfile.TsFile[[datasets.packaged_modules.tsfile.TsFile]]

```python
datasets.packaged_modules.tsfile.TsFile(*args, **kwargs)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/tsfile/tsfile.py#L233)

Perangkat pembuat format lebar untuk TsFile (model tabel).

### Pdf[[datasets.packaged_modules.pdffolder.PdfFolderConfig]]

#### datasets.packaged_modules.pdffolder.PdfFolderConfig[[datasets.packaged_modules.pdffolder.PdfFolderConfig]]

```python
datasets.packaged_modules.pdffolder.PdfFolderConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, drop_labels: bool = None, drop_metadata: bool = None, metadata_filenames: list = None, filters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = None, decode_num_threads: int = 32)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/pdffolder/pdffolder.py#L9)

BuilderConfig untuk ImageFolder.

#### datasets.packaged_modules.pdffolder.PdfFolder[[datasets.packaged_modules.pdffolder.PdfFolder]]

```python
datasets.packaged_modules.pdffolder.PdfFolder(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/pdffolder/pdffolder.py#L19)

### Nifti[[datasets.packaged_modules.niftifolder.NiftiFolderConfig]]

#### datasets.packaged_modules.niftifolder.NiftiFolderConfig[[datasets.packaged_modules.niftifolder.NiftiFolderConfig]]

```python
datasets.packaged_modules.niftifolder.NiftiFolderConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, drop_labels: bool = None, drop_metadata: bool = None, metadata_filenames: list = None, filters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = None, decode_num_threads: int = 32)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/niftifolder/niftifolder.py#L9)

BuilderConfig untuk NiftiFolder.

#### datasets.packaged_modules.niftifolder.NiftiFolder[[datasets.packaged_modules.niftifolder.NiftiFolder]]

```python
datasets.packaged_modules.niftifolder.NiftiFolder(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/niftifolder/niftifolder.py#L20)

### WebDataset[[datasets.packaged_modules.webdataset.WebDataset]]

#### datasets.packaged_modules.webdataset.WebDataset[[datasets.packaged_modules.webdataset.WebDataset]]

```python
datasets.packaged_modules.webdataset.WebDataset(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/webdataset/webdataset.py#L20)

### Harbor[[datasets.packaged_modules.harbor.HarborConfig]]

#### datasets.packaged_modules.harbor.HarborConfig[[datasets.packaged_modules.harbor.HarborConfig]]

```python
datasets.packaged_modules.harbor.HarborConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, strip_canary: bool = True, include_files: bool = True)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/harbor/harbor.py#L95)

**Parameter:**

features (`Features`, *opsional*) : Menetapkan fitur yang digunakan untuk meng-cast baris yang dihasilkan. Secara default, fitur dari tugas Harbor digunakan (lihat `Harbor`).

strip_canary (`bool`, *opsional*, defaultnya `True`) : Hapus baris komentar "benchmark data canary" di awal dari `instruction.md` dan dari instruksi langkah-langkah, seperti yang dilakukan Harbor saat mengirimkannya ke agen.

include_files (`bool`, *opsional*, defaultnya `True`) : Mengelompokkan semua file dari setiap tugas (`environment/`, `tests/`, `solution/`...) di kolom `files`. Atur menjadi `False` untuk melewati pengelompokan direktori tugas, yang lebih cepat jika dataset berada pada sistem file jarak jauh.

BuilderConfig untuk repositori tugas Harbor.

#### datasets.packaged_modules.harbor.Harbor[[datasets.packaged_modules.harbor.Harbor]]

```python
datasets.packaged_modules.harbor.Harbor(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Sumber](https://github.com/huggingface/datasets/blob/main/src/datasets/packaged_modules/harbor/harbor.py#L116)

Builder untuk repositori tugas Harbor: satu baris per direktori tugas.

Ia menghasilkan fitur-fitur berikut:

- **name** (`str`) -- nama tugas, berupa `org/name` dalam `[task].name` di `task.toml`, atau nama direktori tugas ketika `task.toml` tidak memiliki bagian `[task]`.
- **deskripsi** (`str`) -- `[task].description` dari `task.toml`.
- **instruction** (`str`) -- isi dari `instruction.md`.
- **keywords** (`list` dari `str`) -- `[task].keywords` dari `task.toml`.
- **schema_version** (`str`) -- `schema_version` yang dideklarasikan oleh `task.toml`.
- **config** (`dict`) -- seluruh `task.toml`, sebagai objek JSON.
- **metadata** (`dict`) -- bagian `[metadata]` bebas dari `task.toml`.
- **files** (`list` dari `str`) -- semua file tugas, relatif terhadap direktori tugas.
- **location** (`str`) -- path direktori tugas, relatif terhadap root dataset.