# Способы загрузки

Методы для получения списка и загрузки наборов данных:

## Наборы данных[[datasets.load_dataset]]

#### datasets.load_dataset[[datasets.load_dataset]]

```python
datasets.load_dataset(path: str, name: typing.Optional[str] = None, data_dir: typing.Optional[str] = None, data_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = None, split: typing.Union[str, datasets.splits.Split, list[str], list[datasets.splits.Split], NoneType] = None, cache_dir: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, download_config: typing.Optional[datasets.download.download_config.DownloadConfig] = None, download_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = None, verification_mode: typing.Union[datasets.utils.info_utils.VerificationMode, str, NoneType] = None, keep_in_memory: typing.Optional[bool] = None, save_infos: bool = False, revision: typing.Union[datasets.utils.version.Version, str, NoneType] = None, token: typing.Union[bool, str, NoneType] = None, streaming: bool = False, num_proc: typing.Optional[int] = None, storage_options: typing.Optional[dict] = None, **config_kwargs)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/load.py#L1446)

**Параметры:**

path (`str`) : Путь или имя набора данных.  - если `path` — это репозиторий набора данных на HF hub (список всех доступных наборов данных можно получить с помощью `huggingface_hub.list_datasets`) -> загрузить набор данных из поддерживаемых файлов в репозитории (csv, json, parquet и т. д.), например `'username/dataset_name'`, репозиторий набора данных на HF hub, содержащий файлы данных.  - если `path` — это каталог в хранилище (Storage Bucket) на HF Hub (список ваших хранилищ можно получить с помощью `huggingface_hub.list_buckets`) -> загрузить набор данных из поддерживаемых файлов в каталоге (csv, json, parquet и т. д.), например `'buckets/username/bucket_name/my_dataset'`.  - если `path` — это локальный каталог -> загрузить набор данных из поддерживаемых файлов в каталоге (csv, json, parquet и т. д.), например `'./path/to/directory/with/my/csv/data'`.  - если `path` — это имя сборщика набора данных (dataset builder) и указаны `data_files` или `data_dir` (доступные сборщики: "json", "csv", "parquet", "arrow", "text", "xml", "webdataset", "imagefolder", "audiofolder", "videofolder", "meshfolder") -> загрузить набор данных из файлов в `data_files` или `data_dir`, например `'parquet'`.  Используйте путь `hf://` вида `'hf://datasets/username/dataset_name'`, чтобы разрешить только удалённую загрузку. Используйте абсолютный путь, чтобы разрешить только локальную загрузку.

name (`str`, *необязательный*) : Определение имени конфигурации набора данных.

data_dir (`str`, *необязательный*) : Определение `data_dir` для конфигурации набора данных. Если указано для универсальных сборщиков (csv, text и т. д.) или наборов данных Hub, а `data_files` равно `None`, поведение эквивалентно передаче `os.path.join(data_dir, **)` в качестве `data_files` для ссылки на все файлы в каталоге.

data_files (`str` или `Sequence` или `Mapping`, *необязательный*) : Путь (пути) к исходному файлу (файлам) данных.

split (`Split` или `str`) : Какой раздел данных загрузить. Если `None`, вернётся `dict` со всеми разделами (обычно `datasets.Split.TRAIN` и `datasets.Split.TEST`). Если указано значение, вернётся один Dataset. Разделы можно объединять и указывать так же, как в tensorflow-datasets.

cache_dir (`str`, *необязательный*) : Каталог для чтения/записи данных. По умолчанию `"~/.cache/huggingface/datasets"`.

features (`Features`, *необязательный*) : Установите тип признаков, используемый для этого набора данных.

download_config ([DownloadConfig](/docs/datasets/v5.2.0/ru/package_reference/builder_classes#datasets.DownloadConfig), *optional*) : Специфические параметры конфигурации загрузки.

download_mode ([DownloadMode](/docs/datasets/v5.2.0/ru/package_reference/builder_classes#datasets.DownloadMode) или `str`, по умолчанию `REUSE_DATASET_IF_EXISTS`) : Режим загрузки/генерации.

verification_mode ([VerificationMode](/docs/datasets/v5.2.0/ru/package_reference/builder_classes#datasets.VerificationMode) или `str`, по умолчанию `BASIC_CHECKS`) : Режим проверки, определяющий, какие проверки выполнять для информации о загруженном/обработанном наборе данных (контрольные суммы/размер/разбивки/...).

keep_in_memory (`bool`, по умолчанию `None`) : Копировать ли датасет в оперативную память. Если `None`, датасет не будет скопирован в оперативную память, если только это явно не включено путём установки `datasets.config.IN_MEMORY_MAX_SIZE` в ненулевое значение. Подробнее см. в разделе [улучшение производительности](../cache#improve-performance).

revision ([Version](/docs/datasets/v5.2.0/ru/package_reference/builder_classes#datasets.Version) или `str`, *optional*) : Версия набора данных для загрузки. Поскольку у наборов данных есть собственное git-хранилище в Datasets Hub, версия по умолчанию "main" соответствует их ветке "main". Вы можете указать другую версию, отличную от "main", используя SHA коммита или git-тег хранилища набора данных.

token (`str` или `bool`, *необязательный*) : Необязательная строка или булево значение, используемое в качестве Bearer-токена для удалённых файлов на Datasets Hub. Если указано `True` или параметр не задан, токен будет получен из `"~/.huggingface"`.

streaming (`bool`, по умолчанию `False`) : Если установлено в `True`, файлы данных не скачиваются. Вместо этого данные передаются потоково по мере итерации по набору данных. В этом случае возвращается [IterableDataset](/docs/datasets/v5.2.0/ru/package_reference/main_classes#datasets.IterableDataset) или [IterableDatasetDict](/docs/datasets/v5.2.0/ru/package_reference/main_classes#datasets.IterableDatasetDict). Обратите внимание, что потоковая передача работает для наборов данных, использующих форматы, поддерживающие итерацию, например txt, csv, jsonl. Файлы Json могут быть скачаны полностью. Также поддерживается потоковая передача из удалённых файлов zip или gzip, но другие сжатые форматы, такие как rar и xz, пока не поддерживаются. Формат tgz не позволяет использовать потоковую передачу.

num_proc (`int`, *необязательный*, по умолчанию `None`) : Количество процессов при загрузке и генерации набора данных локально. Многопоточность отключена по умолчанию.

storage_options (`dict`, *необязательный*, по умолчанию `None`) : **Экспериментально**. Пары ключ/значение, передаваемые в файловую систему датасета, если таковая имеется.

- ****config_kwargs** (дополнительные именованные аргументы) : Именованные аргументы, передаваемые в `BuilderConfig` и используемые в [DatasetBuilder](/docs/datasets/v5.2.0/ru/package_reference/builder_classes#datasets.DatasetBuilder).

**Возвращает:** [Dataset](/docs/datasets/v5.2.0/ru/package_reference/main_classes#datasets.Dataset) или [DatasetDict](/docs/datasets/v5.2.0/ru/package_reference/main_classes#datasets.DatasetDict)

- если `split` не равно `None`: запрошенный набор данных,
- если `split` равно `None`, возвращается [DatasetDict](/docs/datasets/v5.2.0/ru/package_reference/main_classes#datasets.DatasetDict) с каждым сплитом.

или [IterableDataset](/docs/datasets/v5.2.0/ru/package_reference/main_classes#datasets.IterableDataset) или [IterableDatasetDict](/docs/datasets/v5.2.0/ru/package_reference/main_classes#datasets.IterableDatasetDict): если `streaming=True`

- если `split` не равен `None`, запрашивается набор данных
- если `split` равно `None`, возвращается `~datasets.streaming.IterableDatasetDict` с каждым сплитом.

Загрузите набор данных из Hugging Face Hub или локальный набор данных.

Список датасетов можно найти на [Hub](https://huggingface.co/datasets) или с помощью `huggingface_hub.list_datasets`.

Набор данных — это каталог, содержащий файлы данных в универсальных форматах (JSON, CSV, Parquet и т. д.) и, возможно, в универсальной структуре (Webdataset, ImageFolder, AudioFolder, VideoFolder, MeshFolder и т. д.).

Под капотом эта функция выполняет следующее:

1. Загрузите конструктор набора данных:

   * Найдите наиболее распространённый формат данных в наборе данных и выберите соответствующий ему билдер (JSON, CSV, Parquet, Webdataset, ImageFolder, AudioFolder, MeshFolder и т. д.).
   * Определите, какой файл попадает в какой раздел (например, train/test) на основе имён файлов и каталогов или на основе конфигурации YAML
   * Также можно вручную указать `data_files` и выбрать, какой конструктор набора данных использовать (например, "parquet").

2. Запустите конструктор набора данных:

   В общем случае:

   * Загрузите файлы данных из набора данных, если они ещё не доступны локально или не сохранены в кэше.
   * Обрабатывайте и кэшируйте набор данных в типизированных таблицах Arrow для кэширования.

     Arrow table — это таблицы произвольной длины с типизированными данными, которые могут хранить вложенные объекты и отображаться на универсальные типы numpy/pandas/python. К ним можно обращаться непосредственно с диска, загружать в оперативную память или даже передавать по сети в режиме потока.

   В случае потоковой обработки:

   * Не скачивайте и не кэшируйте ничего. Вместо этого набор данных загружается лениво и будет передаваться потоком на лету при итерации по нему.

3. Возвращает набор данных, построенный из запрошенных разбиений в `split` (по умолчанию: все).

Пример:

Загрузите набор данных из Hugging Face Hub:

```py
>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train')

# Load a subset or dataset configuration (here 'sst2')
>>> from datasets import load_dataset
>>> ds = load_dataset('nyu-mll/glue', 'sst2', split='train')

# Manual mapping of data files to splits
>>> data_files = {'train': 'train.csv', 'test': 'test.csv'}
>>> ds = load_dataset('namespace/your_dataset_name', data_files=data_files)

# Manual selection of a directory to load
>>> ds = load_dataset('namespace/your_dataset_name', data_dir='folder_name')
```

Загрузите набор данных из хранилища (Storage Bucket) на Hugging Face Hub:

```py
>>> from datasets import load_dataset
>>> ds = load_dataset('buckets/username/bucket_name/rotten_tomatoes', split='train')
```

Загрузите локальный набор данных:

```py
# Load a CSV file
>>> from datasets import load_dataset
>>> ds = load_dataset('csv', data_files='path/to/local/my_dataset.csv')

# Load a JSON file
>>> from datasets import load_dataset
>>> ds = load_dataset('json', data_files='path/to/local/my_dataset.json')
```

Загрузите [IterableDataset](/docs/datasets/v5.2.0/ru/package_reference/main_classes#datasets.IterableDataset):

```py
>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train', streaming=True)
```

Загрузите набор данных изображений с помощью конструктора набора данных `ImageFolder`:

```py
>>> from datasets import load_dataset
>>> ds = load_dataset('imagefolder', data_dir='/path/to/images', split='train')
```

#### datasets.load_from_disk[[datasets.load_from_disk]]

```python
datasets.load_from_disk(dataset_path: typing.Union[str, bytes, os.PathLike], keep_in_memory: typing.Optional[bool] = None, storage_options: typing.Optional[dict] = None)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/load.py#L1704)

**Параметры:**

dataset_path (`path-like`) : Path (например, `"dataset/train"`) или удалённый URI (например, `"s3://my-bucket/dataset/train"`) каталога [Dataset](/docs/datasets/v5.2.0/ru/package_reference/main_classes#datasets.Dataset) или [DatasetDict](/docs/datasets/v5.2.0/ru/package_reference/main_classes#datasets.DatasetDict), из которого будет загружен датасет/датасет-словарь.

keep_in_memory (`bool`, по умолчанию `None`) : Копировать ли датасет в оперативную память. Если `None`, датасет не будет скопирован в оперативную память, если только это явно не включено путём установки `datasets.config.IN_MEMORY_MAX_SIZE` в ненулевое значение. Подробнее см. в разделе [улучшение производительности](../cache#improve-performance).

storage_options (`dict`, *необязательный*) : Пары ключ/значение, передаваемые в файловую систему, если таковая имеется.

**Возвращает:** [Dataset](/docs/datasets/v5.2.0/ru/package_reference/main_classes#datasets.Dataset) или [DatasetDict](/docs/datasets/v5.2.0/ru/package_reference/main_classes#datasets.DatasetDict)

- Если `dataset_path` — это путь к каталогу набора данных: запрошенный набор данных.
- Если `dataset_path` — это путь к каталогу словаря датасета, возвращается [DatasetDict](/docs/datasets/v5.2.0/ru/package_reference/main_classes#datasets.DatasetDict) с каждым сплитом.

Загружает набор данных, ранее сохранённый с помощью [save_to_disk()](/docs/datasets/v5.2.0/ru/package_reference/main_classes#datasets.Dataset.save_to_disk) из каталога набора данных, или из файловой системы с использованием любой реализации `fsspec.spec.AbstractFileSystem`.

Пример:

```py
>>> from datasets import load_from_disk
>>> ds = load_from_disk('path/to/dataset/directory')
```

#### datasets.load_dataset_builder[[datasets.load_dataset_builder]]

```python
datasets.load_dataset_builder(path: str, name: typing.Optional[str] = None, data_dir: typing.Optional[str] = None, data_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = None, cache_dir: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, download_config: typing.Optional[datasets.download.download_config.DownloadConfig] = None, download_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = None, revision: typing.Union[datasets.utils.version.Version, str, NoneType] = None, token: typing.Union[bool, str, NoneType] = None, storage_options: typing.Optional[dict] = None, **config_kwargs)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/load.py#L1187)

**Параметры:**

path (`str`) : Путь или имя набора данных.  - если `path` — это репозиторий набора данных на HF hub (список всех доступных наборов данных можно получить с помощью `huggingface_hub.list_datasets`) -> загрузить конструктор набора данных из поддерживаемых файлов в репозитории (csv, json, parquet и т. д.), например `'username/dataset_name'`, репозиторий набора данных на HF hub, содержащий файлы данных.  - если `path` — это каталог в хранилище (Storage Bucket) на HF Hub (список ваших хранилищ можно получить с помощью `huggingface_hub.list_buckets`) -> загрузить набор данных из поддерживаемых файлов в каталоге (csv, json, parquet и т. д.), например `'buckets/username/bucket_name/my_dataset'`.  - если `path` — это локальный каталог -> загрузить конструктор набора данных из поддерживаемых файлов в каталоге (csv, json, parquet и т. д.), например `'./path/to/directory/with/my/csv/data'`.  - если `path` — это имя конструктора набора данных, а `data_files` или `data_dir` указаны (доступные конструкторы: "json", "csv", "parquet", "arrow", "text", "xml", "webdataset", "imagefolder", "audiofolder", "videofolder", "meshfolder") -> загрузить конструктор набора данных из файлов в `data_files` или `data_dir`, например `'parquet'`.  Используйте путь `hf://`, например `'hf://datasets/username/dataset_name'`, чтобы разрешить только удаленный доступ. Используйте абсолютный путь, чтобы разрешить только локальный доступ.

name (`str`, *необязательный*) : Определение имени конфигурации набора данных.

data_dir (`str`, *необязательный*) : Определение `data_dir` для конфигурации набора данных. Если указано для универсальных сборщиков (csv, text и т. д.) или наборов данных Hub, а `data_files` равно `None`, поведение эквивалентно передаче `os.path.join(data_dir, **)` в качестве `data_files` для ссылки на все файлы в каталоге.

data_files (`str` или `Sequence` или `Mapping`, *необязательный*) : Путь (пути) к исходному файлу (файлам) данных.

cache_dir (`str`, *необязательный*) : Каталог для чтения/записи данных. По умолчанию `"~/.cache/huggingface/datasets"`.

features ([Features](/docs/datasets/v5.2.0/ru/package_reference/main_classes#datasets.Features), *optional*) : Установите тип признаков, который будет использоваться для этого набора данных.

download_config ([DownloadConfig](/docs/datasets/v5.2.0/ru/package_reference/builder_classes#datasets.DownloadConfig), *optional*) : Специфические параметры конфигурации загрузки.

download_mode ([DownloadMode](/docs/datasets/v5.2.0/ru/package_reference/builder_classes#datasets.DownloadMode) или `str`, по умолчанию `REUSE_DATASET_IF_EXISTS`) : Режим загрузки/генерации.

revision ([Version](/docs/datasets/v5.2.0/ru/package_reference/builder_classes#datasets.Version) или `str`, *optional*) : Версия набора данных для загрузки. Поскольку у наборов данных есть собственное git-хранилище в Datasets Hub, версия по умолчанию "main" соответствует их ветке "main". Вы можете указать другую версию, отличную от "main", используя SHA коммита или git-тег хранилища набора данных.

token (`str` или `bool`, *необязательный*) : Необязательная строка или булево значение, используемое в качестве Bearer-токена для удалённых файлов на Datasets Hub. Если указано `True` или параметр не задан, токен будет получен из `"~/.huggingface"`.

storage_options (`dict`, *необязательный*, по умолчанию `None`) : **Экспериментально**. Пары ключ/значение, передаваемые в файловую систему датасета, если таковая имеется.

- ****config_kwargs** (дополнительные именованные аргументы) : Именованные аргументы, передаваемые в [BuilderConfig](/docs/datasets/v5.2.0/ru/package_reference/builder_classes#datasets.BuilderConfig) и используемые в [DatasetBuilder](/docs/datasets/v5.2.0/ru/package_reference/builder_classes#datasets.DatasetBuilder).

**Возвращает:**

[DatasetBuilder](/docs/datasets/v5.2.0/ru/package_reference/builder_classes#datasets.DatasetBuilder)

Загрузите конструктор набора данных, который можно использовать для:

- Просмотр общей информации, необходимой для создания набора данных (каталог кэша, конфигурация, сведения о наборе данных, признаки, файлы данных и т. д.)
- Скачайте и подготовьте набор данных в виде файлов Arrow в кэше
- Получение потокового набора данных без загрузки или кэширования

Список датасетов можно найти на [Hub](https://huggingface.co/datasets) или с помощью `huggingface_hub.list_datasets`.

Набор данных — это каталог, содержащий файлы данных в универсальных форматах (JSON, CSV, Parquet и т. д.) и, возможно, в универсальной структуре (Webdataset, ImageFolder, AudioFolder, VideoFolder, MeshFolder и т. д.).

Пример:

```py
>>> from datasets import load_dataset_builder
>>> ds_builder = load_dataset_builder('cornell-movie-review-data/rotten_tomatoes')
>>> ds_builder.info.features
{'label': ClassLabel(names=['neg', 'pos']),
 'text': Value('string')}
```

#### datasets.get_dataset_config_names[[datasets.get_dataset_config_names]]

```python
datasets.get_dataset_config_names(path: str, revision: typing.Union[datasets.utils.version.Version, str, NoneType] = None, download_config: typing.Optional[datasets.download.download_config.DownloadConfig] = None, download_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = None, data_files: typing.Union[str, list, dict, NoneType] = None, **download_kwargs)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/inspect.py#L109)

**Параметры:**

path (`str`) : путь к репозиторию набора данных. Может быть:  - локальным путём к каталогу набора данных, содержащему файлы данных, например `'./dataset/squad'` - идентификатором набора данных на Hugging Face Hub (полный список доступных наборов данных и их идентификаторов можно получить с помощью `huggingface_hub.list_datasets`), например `'rajpurkar/squad'`, `'nyu-mll/glue'` или``'openai/webtext'`

revision (`Union[str, datasets.Version]`, *необязательный*) : Если указано, модуль набора данных будет загружен из репозитория datasets в этой версии. По умолчанию: - устанавливается локальная версия библиотеки. - также будет предпринята попытка загрузить его из основной ветки, если он недоступен в локальной версии библиотеки. Указание версии, отличной от вашей локальной версии библиотеки, может привести к проблемам совместимости.

download_config ([DownloadConfig](/docs/datasets/v5.2.0/ru/package_reference/builder_classes#datasets.DownloadConfig), *optional*) : Специфические параметры конфигурации загрузки.

download_mode ([DownloadMode](/docs/datasets/v5.2.0/ru/package_reference/builder_classes#datasets.DownloadMode) или `str`, по умолчанию `REUSE_DATASET_IF_EXISTS`) : Режим загрузки/генерации.

data_files (`Union[Dict, List, str]`, *необязательный*) : Определение data_files для конфигурации набора данных.

- ****download_kwargs** (дополнительные именованные аргументы): Необязательные атрибуты для [DownloadConfig](/docs/datasets/v5.2.0/ru/package_reference/builder_classes#datasets.DownloadConfig), которые переопределяют атрибуты в `download_config`, если они указаны, например `token`.

Получите список доступных имён конфигураций для конкретного набора данных.

Пример:

```py
>>> from datasets import get_dataset_config_names
>>> get_dataset_config_names("nyu-mll/glue")
['cola',
 'sst2',
 'mrpc',
 'qqp',
 'stsb',
 'mnli',
 'mnli_mismatched',
 'mnli_matched',
 'qnli',
 'rte',
 'wnli',
 'ax']
```

#### datasets.get_dataset_infos[[datasets.get_dataset_infos]]

```python
datasets.get_dataset_infos(path: str, data_files: typing.Union[str, list, dict, NoneType] = None, download_config: typing.Optional[datasets.download.download_config.DownloadConfig] = None, download_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = None, revision: typing.Union[datasets.utils.version.Version, str, NoneType] = None, token: typing.Union[bool, str, NoneType] = None, **config_kwargs)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/inspect.py#L42)

**Параметры:**

path (`str`) : путь к репозиторию набора данных. Может быть:  - локальным путём к каталогу набора данных, содержащему файлы данных, например `'./dataset/squad'` - идентификатором набора данных на Hugging Face Hub (полный список доступных наборов данных и их идентификаторов можно получить с помощью `huggingface_hub.list_datasets`), например `'rajpurkar/squad'`, `'nyu-mll/glue'` или``'openai/webtext'`

revision (`Union[str, datasets.Version]`, *необязательный*) : Если указано, модуль набора данных будет загружен из репозитория datasets в этой версии. По умолчанию: - устанавливается локальная версия библиотеки. - также будет предпринята попытка загрузить его из основной ветки, если он недоступен в локальной версии библиотеки. Указание версии, отличной от вашей локальной версии библиотеки, может привести к проблемам совместимости.

download_config ([DownloadConfig](/docs/datasets/v5.2.0/ru/package_reference/builder_classes#datasets.DownloadConfig), *optional*) : Специфические параметры конфигурации загрузки.

download_mode ([DownloadMode](/docs/datasets/v5.2.0/ru/package_reference/builder_classes#datasets.DownloadMode) или `str`, по умолчанию `REUSE_DATASET_IF_EXISTS`) : Режим загрузки/генерации.

data_files (`Union[Dict, List, str]`, *необязательный*) : Определение data_files для конфигурации набора данных.

token (`str` или `bool`, *необязательный*) : Необязательная строка или булево значение, используемое в качестве Bearer-токена для удалённых файлов на Datasets Hub. Если указано `True` или параметр не задан, токен будет получен из `"~/.huggingface"`.

- ****config_kwargs** (дополнительные именованные аргументы): Необязательные атрибуты для класса-сборщика, которые переопределяют соответствующие атрибуты, если переданы.

Получает метаданные о наборе данных, возвращаемые в виде словаря, сопоставляющего имя конфигурации с DatasetInfoDict.

Пример:

```py
>>> from datasets import get_dataset_infos
>>> get_dataset_infos('cornell-movie-review-data/rotten_tomatoes')
{'default': DatasetInfo(description="Movie Review Dataset.
 is a dataset of containing 5,331 positive and 5,331 negative processed
ences from Rotten Tomatoes movie reviews...), ...}
```

#### datasets.get_dataset_split_names[[datasets.get_dataset_split_names]]

```python
datasets.get_dataset_split_names(path: str, config_name: typing.Optional[str] = None, data_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = None, download_config: typing.Optional[datasets.download.download_config.DownloadConfig] = None, download_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = None, revision: typing.Union[datasets.utils.version.Version, str, NoneType] = None, token: typing.Union[bool, str, NoneType] = None, **config_kwargs)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/inspect.py#L295)

**Параметры:**

path (`str`) : путь к репозиторию набора данных. Может быть:  - локальным путём к каталогу набора данных, содержащему файлы данных, например `'./dataset/squad'` - идентификатором набора данных на Hugging Face Hub (полный список доступных наборов данных и их идентификаторов можно получить с помощью `huggingface_hub.list_datasets`), например `'rajpurkar/squad'`, `'nyu-mll/glue'` или``'openai/webtext'`

config_name (`str`, *необязательный*) : Определение имени конфигурации набора данных.

data_files (`str` или `Sequence` или `Mapping`, *необязательный*) : Путь (пути) к исходному файлу (файлам) данных.

download_config ([DownloadConfig](/docs/datasets/v5.2.0/ru/package_reference/builder_classes#datasets.DownloadConfig), *optional*) : Специфические параметры конфигурации загрузки.

download_mode ([DownloadMode](/docs/datasets/v5.2.0/ru/package_reference/builder_classes#datasets.DownloadMode) или `str`, по умолчанию `REUSE_DATASET_IF_EXISTS`) : Режим загрузки/генерации.

revision ([Version](/docs/datasets/v5.2.0/ru/package_reference/builder_classes#datasets.Version) или `str`, *optional*) : Версия набора данных для загрузки. Поскольку у наборов данных есть собственное git-хранилище в Datasets Hub, версия по умолчанию "main" соответствует их ветке "main". Вы можете указать другую версию, отличную от "main", используя SHA коммита или git-тег хранилища набора данных.

token (`str` или `bool`, *необязательный*) : Необязательная строка или булево значение, используемое в качестве Bearer-токена для удалённых файлов на Datasets Hub. Если указано `True` или параметр не задан, токен будет получен из `"~/.huggingface"`.

- ****config_kwargs** (дополнительные именованные аргументы): Необязательные атрибуты для класса-сборщика, которые переопределяют соответствующие атрибуты, если переданы.

Получите список доступных разбиений для конкретного конфигурационного файла и набора данных.

Пример:

```py
>>> from datasets import get_dataset_split_names
>>> get_dataset_split_names('cornell-movie-review-data/rotten_tomatoes')
['train', 'validation', 'test']
```

## Из файлов

Конфигурации, используемые для загрузки файлов данных. Они применяются при загрузке локальных файлов или репозитория датасета:

- локальные файлы: `load_dataset("parquet", data_dir="path/to/data/dir")`
- репозиторий датасета: `load_dataset("allenai/c4")`

Вы можете передавать аргументы в `load_dataset` для настройки загрузки данных. Например, вы можете указать параметр `sep`, чтобы определить [CsvConfig](/docs/datasets/v5.2.0/ru/package_reference/loading_methods#datasets.packaged_modules.csv.CsvConfig), используемый для загрузки данных:

```python
load_dataset("csv", data_dir="path/to/data/dir", sep="\t")
```

### Текст[[datasets.packaged_modules.text.TextConfig]]

#### datasets.packaged_modules.text.TextConfig[[datasets.packaged_modules.text.TextConfig]]

```python
datasets.packaged_modules.text.TextConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, encoding: str = 'utf-8', encoding_errors: typing.Optional[str] = None, chunksize: int = 10485760, keep_linebreaks: bool = False, sample_by: typing.Literal['line', 'paragraph', 'document'] = 'line')
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/text/text.py#L17)

**Параметры:**

features : (`Features`, *необязательный*): Преобразовать данные в `features`.

encoding : (`str`, по умолчанию "utf-8"): Кодировка для декодирования файла.

encoding_errors : (`str`, *необязательный*): Аргумент, определяющий, как обрабатывать ошибки кодирования. Это то же самое, что аргумент `error` в `open()`.

chunksize : (`Features`, *optional*, по умолчанию "10MB"): Размер блока для чтения данных.

keep_linebreaks : (`bool`, по умолчанию False): Сохранять ли переносы строк.

sample_by (`Literal["line", "paragraph", "document"]`, по умолчанию "line") : Загружать данные построчно, по абзацам или по документам. По умолчанию одна строка в наборе данных соответствует одной строке текста.

BuilderConfig для текстовых файлов.

#### datasets.packaged_modules.text.Text[[datasets.packaged_modules.text.Text]]

```python
datasets.packaged_modules.text.Text(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/text/text.py#L45)

### CSV[[datasets.packaged_modules.csv.CsvConfig]]

#### datasets.packaged_modules.csv.CsvConfig[[datasets.packaged_modules.csv.CsvConfig]]

```python
datasets.packaged_modules.csv.CsvConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, sep: str = ',', delimiter: typing.Optional[str] = None, header: typing.Union[int, list[int], str, NoneType] = 'infer', names: typing.Optional[list[str]] = None, column_names: typing.Optional[list[str]] = None, index_col: typing.Union[int, str, list[int], list[str], NoneType] = None, usecols: typing.Union[list[int], list[str], NoneType] = None, prefix: typing.Optional[str] = None, mangle_dupe_cols: bool = True, engine: typing.Optional[typing.Literal['c', 'python', 'pyarrow']] = None, converters: dict = None, true_values: typing.Optional[list] = None, false_values: typing.Optional[list] = None, skipinitialspace: bool = False, skiprows: typing.Union[int, list[int], NoneType] = None, nrows: typing.Optional[int] = None, na_values: typing.Union[str, list[str], NoneType] = None, keep_default_na: bool = True, na_filter: bool = True, verbose: bool = False, skip_blank_lines: bool = True, thousands: typing.Optional[str] = None, decimal: str = '.', lineterminator: typing.Optional[str] = None, quotechar: str = '"', quoting: int = 0, escapechar: typing.Optional[str] = None, comment: typing.Optional[str] = None, encoding: typing.Optional[str] = None, dialect: typing.Optional[str] = None, error_bad_lines: bool = True, warn_bad_lines: bool = True, skipfooter: int = 0, doublequote: bool = True, memory_map: bool = False, float_precision: typing.Optional[str] = None, chunksize: int = 10000, features: typing.Optional[datasets.features.features.Features] = None, encoding_errors: typing.Optional[str] = 'strict', on_bad_lines: typing.Literal['error', 'warn', 'skip'] = 'error', date_format: typing.Optional[str] = None)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/csv/csv.py#L25)

BuilderConfig для CSV.

#### datasets.packaged_modules.csv.Csv[[datasets.packaged_modules.csv.Csv]]

```python
datasets.packaged_modules.csv.Csv(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/csv/csv.py#L145)

### JSON[[datasets.packaged_modules.json.JsonConfig]]

#### datasets.packaged_modules.json.JsonConfig[[datasets.packaged_modules.json.JsonConfig]]

```python
datasets.packaged_modules.json.JsonConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, encoding: str = 'utf-8', encoding_errors: typing.Optional[str] = None, field: typing.Optional[str] = None, use_threads: bool = True, block_size: typing.Optional[int] = None, chunksize: int = 10485760, newlines_in_values: typing.Optional[bool] = None, on_mixed_types: typing.Optional[typing.Literal['use_json']] = 'use_json', parse_agent_traces: bool = True)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/json/json.py#L46)

BuilderConfig для JSON.

#### datasets.Json[[datasets.Json]]

```python
datasets.Json(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/json/json.py#L64)

### XML[[datasets.packaged_modules.xml.XmlConfig]]

#### datasets.packaged_modules.xml.XmlConfig[[datasets.packaged_modules.xml.XmlConfig]]

```python
datasets.packaged_modules.xml.XmlConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, encoding: str = 'utf-8', encoding_errors: typing.Optional[str] = None)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/xml/xml.py#L15)

BuilderConfig для файлов xml.

#### datasets.packaged_modules.xml.Xml[[datasets.packaged_modules.xml.Xml]]

```python
datasets.packaged_modules.xml.Xml(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/xml/xml.py#L23)

### Parquet[[datasets.packaged_modules.parquet.ParquetConfig]]

#### datasets.packaged_modules.parquet.ParquetConfig[[datasets.packaged_modules.parquet.ParquetConfig]]

```python
datasets.packaged_modules.parquet.ParquetConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, batch_size: typing.Optional[int] = None, columns: typing.Optional[list[str]] = None, features: typing.Optional[datasets.features.features.Features] = None, filters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = None, fragment_scan_options: typing.Optional[pyarrow._dataset_parquet.ParquetFragmentScanOptions] = None, on_bad_files: typing.Literal['error', 'warn', 'skip'] = 'error')
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/parquet/parquet.py#L20)

**Параметры:**

batch_size (`int`, *optional*) : Размер RecordBatches для итерации. По умолчанию используется размер группы строк (определяется первой группой строк).

columns (`list[str]`, *необязательный*) : Список столбцов для загрузки, остальные игнорируются. По умолчанию загружаются все столбцы.

features : (`Features`, *необязательный*): Преобразовать данные в `features`.

filters (`Union[pyarrow.dataset.Expression, list[tuple], list[list[tuple]]]`, *необязательный*) : Возвращает только строки, соответствующие фильтру. Если возможно, предикат будет передан вниз, чтобы использовать информацию о партициях или внутренние метаданные, найденные в источнике данных, например, статистику Parquet. В противном случае фильтрует загруженные RecordBatches перед их возвратом.

fragment_scan_options (`pyarrow.dataset.ParquetFragmentScanOptions`, *необязательный*) : Параметры, специфичные для сканирования фрагментов Parquet. Это особенно полезно для настройки буферизации и кэширования.

on_bad_files (`Literal["error", "warn", "skip"]`, *необязательный*, по умолчанию "error") : Указывает, что делать при обнаружении повреждённого файла (файла, который невозможно прочитать). Допустимые значения: * 'error' — вызывать исключение при обнаружении повреждённого файла. * 'warn' — выводить предупреждение при обнаружении повреждённого файла и пропускать его. * 'skip' — пропускать повреждённые файлы без вывода предупреждений или вызова исключений.

BuilderConfig для Parquet.

Пример:

Загрузка подмножества столбцов:

```python
>>> ds = load_dataset(parquet_dataset_id, columns=["col_0", "col_1"])
```

Потоковая обработка данных и эффективная фильтрация данных, при необходимости с пропуском целых файлов или групп строк:

```python
>>> filters = [("col_0", "==", 0)]
>>> ds = load_dataset(parquet_dataset_id, streaming=True, filters=filters)
```

Увеличьте минимальный размер запроса при потоковой передаче с 32MiB (по умолчанию) до 128MiB и включите предварительную загрузку:

```python
>>> import pyarrow
>>> import pyarrow.dataset
>>> fragment_scan_options = pyarrow.dataset.ParquetFragmentScanOptions(
...     cache_options=pyarrow.CacheOptions(
...         prefetch_limit=1,
...         range_size_limit=128 << 20
...     ),
... )
>>> ds = load_dataset(parquet_dataset_id, streaming=True, fragment_scan_options=fragment_scan_options)
```

#### datasets.packaged_modules.parquet.Parquet[[datasets.packaged_modules.parquet.Parquet]]

```python
datasets.packaged_modules.parquet.Parquet(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/parquet/parquet.py#L93)

### Arrow[[datasets.packaged_modules.arrow.ArrowConfig]]

#### datasets.packaged_modules.arrow.ArrowConfig[[datasets.packaged_modules.arrow.ArrowConfig]]

```python
datasets.packaged_modules.arrow.ArrowConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/arrow/arrow.py#L15)

BuilderConfig для Arrow.

#### datasets.packaged_modules.arrow.Arrow[[datasets.packaged_modules.arrow.Arrow]]

```python
datasets.packaged_modules.arrow.Arrow(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/arrow/arrow.py#L24)

### Vortex[[datasets.packaged_modules.vortex.VortexConfig]]

#### datasets.packaged_modules.vortex.VortexConfig[[datasets.packaged_modules.vortex.VortexConfig]]

```python
datasets.packaged_modules.vortex.VortexConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, batch_size: typing.Optional[int] = None, columns: typing.Optional[list[str]] = None, features: typing.Optional[datasets.features.features.Features] = None, filters: typing.Union[ForwardRef('vortex.expr.Expr'), list[tuple], list[list[tuple]], NoneType] = None, on_bad_files: typing.Literal['error', 'warn', 'skip'] = 'error')
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/vortex/vortex.py#L54)

**Параметры:**

batch_size (`int`, *optional*) : Размер RecordBatches для итерации. Значение по умолчанию определяется сканером Vortex.

columns (`list[str]`, *необязательный*) : Список столбцов для загрузки, остальные игнорируются. По умолчанию загружаются все столбцы.

features : (`Features`, *необязательный*): Преобразовать данные в `features`.

filters (`Union[vortex.expr.Expr, list[tuple], list[list[tuple]]]`, *необязательный*) : Возвращает только строки, соответствующие фильтру. Предикат передается в скан Vortex, поэтому читаются только соответствующие строки. Фильтры, заданные в виде списка кортежей (ДНФ, как принимает загрузчик Parquet), преобразуются в выражение Vortex. Значения null подчиняются семантике SQL: null не удовлетворяет ни одному сравнению, поэтому строка, в которой отфильтрованный столбец содержит null, никогда не возвращается. Обратите внимание, что `not in` в результате исключает null, тогда как загрузчик Parquet сохраняет их, поскольку он формирует `~field.isin(values)`, а null не входит в множество.

on_bad_files (`Literal["error", "warn", "skip"]`, *необязательный*, по умолчанию "error") : Указывает, что делать при обнаружении повреждённого файла (файла, который невозможно прочитать). Допустимые значения: * 'error' — вызывать исключение при обнаружении повреждённого файла. * 'warn' — выводить предупреждение при обнаружении повреждённого файла и пропускать его. * 'skip' — пропускать повреждённые файлы без вывода предупреждений или вызова исключений.

BuilderConfig для Vortex.

Пример:

Загрузка подмножества столбцов:

```python
>>> ds = load_dataset(vortex_dataset_id, columns=["col_0", "col_1"])
```

Потоковая обработка данных и эффективная фильтрация данных с пропуском целых файлов или блоков, когда это возможно:

```python
>>> filters = [("col_0", "==", 0)]
>>> ds = load_dataset(vortex_dataset_id, streaming=True, filters=filters)
```

#### datasets.packaged_modules.vortex.Vortex[[datasets.packaged_modules.vortex.Vortex]]

```python
datasets.packaged_modules.vortex.Vortex(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/vortex/vortex.py#L226)

### SQL[[datasets.packaged_modules.sql.SqlConfig]]

#### datasets.packaged_modules.sql.SqlConfig[[datasets.packaged_modules.sql.SqlConfig]]

```python
datasets.packaged_modules.sql.SqlConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, sql: typing.Union[str, ForwardRef('sqlalchemy.sql.Selectable')] = None, con: typing.Union[str, ForwardRef('sqlalchemy.engine.Connection'), ForwardRef('sqlalchemy.engine.Engine'), ForwardRef('sqlite3.Connection')] = None, index_col: typing.Union[str, list[str], NoneType] = None, coerce_float: bool = True, params: typing.Union[list, tuple, dict, NoneType] = None, parse_dates: typing.Union[list, dict, NoneType] = None, columns: typing.Optional[list[str]] = None, chunksize: typing.Optional[int] = 10000, features: typing.Optional[datasets.features.features.Features] = None)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/sql/sql.py#L25)

BuilderConfig для SQL.

#### datasets.packaged_modules.sql.Sql[[datasets.packaged_modules.sql.Sql]]

```python
datasets.packaged_modules.sql.Sql(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/sql/sql.py#L92)

### Изображения[[datasets.packaged_modules.imagefolder.ImageFolderConfig]]

#### datasets.packaged_modules.imagefolder.ImageFolderConfig[[datasets.packaged_modules.imagefolder.ImageFolderConfig]]

```python
datasets.packaged_modules.imagefolder.ImageFolderConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, drop_labels: bool = None, drop_metadata: bool = None, metadata_filenames: list = None, filters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = None, decode_num_threads: int = 32)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/imagefolder/imagefolder.py#L9)

BuilderConfig для ImageFolder.

#### datasets.packaged_modules.imagefolder.ImageFolder[[datasets.packaged_modules.imagefolder.ImageFolder]]

```python
datasets.packaged_modules.imagefolder.ImageFolder(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/imagefolder/imagefolder.py#L19)

### Аудио[[datasets.packaged_modules.audiofolder.AudioFolderConfig]]

#### datasets.packaged_modules.audiofolder.AudioFolderConfig[[datasets.packaged_modules.audiofolder.AudioFolderConfig]]

```python
datasets.packaged_modules.audiofolder.AudioFolderConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, drop_labels: bool = None, drop_metadata: bool = None, metadata_filenames: list = None, filters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = None, decode_num_threads: int = 32)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/audiofolder/audiofolder.py#L9)

Конфигурация Builder для AudioFolder.

#### datasets.packaged_modules.audiofolder.AudioFolder[[datasets.packaged_modules.audiofolder.AudioFolder]]

```python
datasets.packaged_modules.audiofolder.AudioFolder(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/audiofolder/audiofolder.py#L19)

### Видео[[datasets.packaged_modules.videofolder.VideoFolderConfig]]

#### datasets.packaged_modules.videofolder.VideoFolderConfig[[datasets.packaged_modules.videofolder.VideoFolderConfig]]

```python
datasets.packaged_modules.videofolder.VideoFolderConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, drop_labels: bool = None, drop_metadata: bool = None, metadata_filenames: list = None, filters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = None, decode_num_threads: int = 32)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/videofolder/videofolder.py#L9)

BuilderConfig для ImageFolder.

#### datasets.packaged_modules.videofolder.VideoFolder[[datasets.packaged_modules.videofolder.VideoFolder]]

```python
datasets.packaged_modules.videofolder.VideoFolder(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/videofolder/videofolder.py#L19)

### HDF5[[datasets.packaged_modules.hdf5.HDF5Config]]

#### datasets.packaged_modules.hdf5.HDF5Config[[datasets.packaged_modules.hdf5.HDF5Config]]

```python
datasets.packaged_modules.hdf5.HDF5Config(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, batch_size: typing.Optional[int] = None, features: typing.Optional[datasets.features.features.Features] = None)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/hdf5/hdf5.py#L33)

BuilderConfig для HDF5.

#### datasets.packaged_modules.hdf5.HDF5[[datasets.packaged_modules.hdf5.HDF5]]

```python
datasets.packaged_modules.hdf5.HDF5(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/hdf5/hdf5.py#L40)

ArrowBasedBuilder, который преобразует файлы HDF5 в таблицы Arrow с использованием типов расширений HF.

### TsFile[[datasets.packaged_modules.tsfile.TsFileConfig]]

#### datasets.packaged_modules.tsfile.TsFileConfig[[datasets.packaged_modules.tsfile.TsFileConfig]]

```python
datasets.packaged_modules.tsfile.TsFileConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, table_name: Optional[str] = None, columns: Optional[list[str]] = None, start_time: Optional[Any] = None, end_time: Optional[Any] = None, input_batch_size: int = 65536, output_batch_size: int = 32, features: Optional[datasets.Features] = None, on_bad_files: Literal['error', 'warn', 'skip'] = 'error', timestamp_unit: Literal['s', 'ms', 'us', 'ns'] = 'ms', timestamp_tz: Optional[str] = None)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/tsfile/tsfile.py#L143)

**Параметры:**

table_name (*str*, *optional*) : Имя таблицы для чтения. Если не задано, используется первая таблица, найденная в первом корректном файле. Поиск не зависит от регистра.

columns (*list[str]*, *optional*) : Подмножество столбцов FIELD, которые нужно сохранить. Столбцы TAG и столбец TIME *всегда* возвращаются (они идентифицируют устройство / его временную шкалу и не могут быть исключены). Имена, ссылающиеся на столбцы TAG или TIME, или на поля, отсутствующие во всех файлах, обрабатываются без ошибок: TAG и TIME выводятся как обычно, а никогда не встречавшиеся поля становятся столбцами списков, заполненными значениями null. Если параметр не задан, возвращаются все FIELD.

start_time, end_time (*datetime*, *date*, *pa.TimestampScalar*, ISO-8601 *str* или *int*, *optional*) : Включительный диапазон временных меток. Любая из границ может быть опущена. Значения `datetime` берутся в их собственной часовой зоне (UTC, если зона не указана); `int` интерпретируется как «сырой» epoch в единицах `timestamp_unit`.

input_batch_size (*int*, *optional*, по умолчанию 65_536) : Максимальное количество строк, извлекаемых за один Arrow-батч из `TsFileReader.query_table`. Управляет пиковым потреблением памяти при потоковой передаче с одного устройства.

output_batch_size (*int*, *optional*, по умолчанию 32) : Количество устройств (строк выходного набора данных), упаковываемых в каждый пакет записей Arrow, передаваемый в writer. Также определяет шаг, с которым обновляется индикатор прогресса набора данных; меньшие значения обеспечивают более отзывчивую обратную связь при медленных чтениях на каждом устройстве, а большие — снижают накладные расходы на каждый пакет.

features (*Функции*, *необязательный*) : Итоговая схема функций. Если указано, сканирование метаданных входных файлов пропускается.

on_bad_files (*Literal["error", "warn", "skip"]*, *optional*, по умолчанию "error") : Что делать, если файл не может быть открыт или в нем отсутствует запрошенная таблица.

timestamp_unit (*Literal["s", "ms", "us", "ns"]*, *optional*, по умолчанию "ms") : Единица времени для столбца с меткой времени. По умолчанию в IoTDB используются миллисекунды.

timestamp_tz (*str*, *optional*) : Часовой пояс для столбца с метками времени. `None` означает отсутствие привязки к часовому поясу.

BuilderConfig для TsFile (табличная модель) — широкий формат на устройство.

#### datasets.packaged_modules.tsfile.TsFile[[datasets.packaged_modules.tsfile.TsFile]]

```python
datasets.packaged_modules.tsfile.TsFile(*args, **kwargs)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/tsfile/tsfile.py#L233)

Создатель широкого формата для каждого устройства для TsFile (табличная модель).

### Pdf[[datasets.packaged_modules.pdffolder.PdfFolderConfig]]

#### datasets.packaged_modules.pdffolder.PdfFolderConfig[[datasets.packaged_modules.pdffolder.PdfFolderConfig]]

```python
datasets.packaged_modules.pdffolder.PdfFolderConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, drop_labels: bool = None, drop_metadata: bool = None, metadata_filenames: list = None, filters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = None, decode_num_threads: int = 32)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/pdffolder/pdffolder.py#L9)

BuilderConfig для ImageFolder.

#### datasets.packaged_modules.pdffolder.PdfFolder[[datasets.packaged_modules.pdffolder.PdfFolder]]

```python
datasets.packaged_modules.pdffolder.PdfFolder(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/pdffolder/pdffolder.py#L19)

### Nifti[[datasets.packaged_modules.niftifolder.NiftiFolderConfig]]

#### datasets.packaged_modules.niftifolder.NiftiFolderConfig[[datasets.packaged_modules.niftifolder.NiftiFolderConfig]]

```python
datasets.packaged_modules.niftifolder.NiftiFolderConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, drop_labels: bool = None, drop_metadata: bool = None, metadata_filenames: list = None, filters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = None, decode_num_threads: int = 32)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/niftifolder/niftifolder.py#L9)

BuilderConfig для NiftiFolder.

#### datasets.packaged_modules.niftifolder.NiftiFolder[[datasets.packaged_modules.niftifolder.NiftiFolder]]

```python
datasets.packaged_modules.niftifolder.NiftiFolder(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/niftifolder/niftifolder.py#L20)

### WebDataset[[datasets.packaged_modules.webdataset.WebDataset]]

#### datasets.packaged_modules.webdataset.WebDataset[[datasets.packaged_modules.webdataset.WebDataset]]

```python
datasets.packaged_modules.webdataset.WebDataset(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/webdataset/webdataset.py#L20)

### Harbor[[datasets.packaged_modules.harbor.HarborConfig]]

#### datasets.packaged_modules.harbor.HarborConfig[[datasets.packaged_modules.harbor.HarborConfig]]

```python
datasets.packaged_modules.harbor.HarborConfig(name: str = 'default', version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0, data_dir: typing.Optional[str] = None, data_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = None, description: typing.Optional[str] = None, features: typing.Optional[datasets.features.features.Features] = None, strip_canary: bool = True, include_files: bool = True)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/harbor/harbor.py#L95)

**Параметры:**

features (`Features`, *необязательный*) : Устанавливает признаки, используемые для приведения сгенерированных строк. По умолчанию используются признаки задачи Harbor (см. `Harbor`).

strip_canary (`bool`, *необязательный*, по умолчанию `True`) : Удаляет начальные строки с комментарием «benchmark data canary» из `instruction.md` и из инструкций к шагам, как это делает Harbor при отправке их агенту.

include_files (`bool`, *необязательный*, по умолчанию `True`) : Выводить в столбец `files` список всех файлов каждой задачи (`environment/`, `tests/`, `solution/`...). Установите `False`, чтобы пропустить перечисление каталогов задач; это быстрее, если датасет находится на удалённой файловой системе.

BuilderConfig для репозиториев задач Harbor.

#### datasets.packaged_modules.harbor.Harbor[[datasets.packaged_modules.harbor.Harbor]]

```python
datasets.packaged_modules.harbor.Harbor(cache_dir: typing.Optional[str] = None, dataset_name: typing.Optional[str] = None, config_name: typing.Optional[str] = None, hash: typing.Optional[str] = None, base_path: typing.Optional[str] = None, info: typing.Optional[datasets.info.DatasetInfo] = None, features: typing.Optional[datasets.features.features.Features] = None, token: typing.Union[bool, str, NoneType] = None, repo_id: typing.Optional[str] = None, data_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = None, data_dir: typing.Optional[str] = None, storage_options: typing.Optional[dict] = None, writer_batch_size: typing.Optional[int] = None, config_id: typing.Optional[str] = None, **config_kwargs)
```

[Источник](https://github.com/huggingface/datasets/blob/5.2.0/src/datasets/packaged_modules/harbor/harbor.py#L116)

Средство для создания репозиториев задач Harbor: одна строка на каталог задачи.

Он генерирует следующие признаки:

- **name** (`str`) -- имя задачи, в формате `org/name` из `[task].name` в `task.toml`, либо имя каталога задачи, если в `task.toml` отсутствует секция `[task]`.
- **description** (`str`) -- `[task].description` из `task.toml`.
- **instruction** (`str`) -- содержимое `instruction.md`.
- **keywords** (`list` из `str`) -- `[task].keywords` из `task.toml`.
- **schema_version** (`str`) -- `schema_version`, объявленная в `task.toml`.
- **config** (`dict`) -- весь `task.toml` в виде объекта JSON.
- **metadata** (`dict`) -- свободная секция `[metadata]` файла `task.toml`.
- **files** (`list` of `str`) -- все файлы задачи, относительно каталога задачи.
- **location** (`str`) — путь к каталогу задачи, относительно корня набора данных.