Hugging Face's logo

Datasets documentation

Métodos de carregamento

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v4.8.4).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Métodos de carregamento

Métodos para listar e carregar conjuntos de dados:

Conjuntos de dados

datasets.load_dataset

< >

( path: strname: typing.Optional[str] = Nonedata_dir: typing.Optional[str] = Nonedata_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = Nonesplit: typing.Union[str, datasets.splits.Split, list[str], list[datasets.splits.Split], NoneType] = Nonecache_dir: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Noneverification_mode: typing.Union[datasets.utils.info_utils.VerificationMode, str, NoneType] = Nonekeep_in_memory: typing.Optional[bool] = Nonesave_infos: bool = Falserevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonetoken: typing.Union[bool, str, NoneType] = Nonestreaming: bool = Falsenum_proc: typing.Optional[int] = Nonestorage_options: typing.Optional[dict] = None**config_kwargs ) → Dataset or DatasetDict

Parâmetros

  • path (str) — Caminho ou nome do dataset.

    • se path for um repositório de dataset no hub do HF (liste todos os datasets disponíveis com huggingface_hub.list_datasets) -> carrega o dataset dos arquivos suportados no repositório (csv, json, parquet, etc.) por exemplo, 'username/dataset_name', um repositório de dataset no hub do HF contendo os arquivos de dados.

    • se path for um diretório dentro de um Storage Bucket no HF Hub (liste seus buckets com huggingface_hub.list_buckets) -> carrega o dataset dos arquivos suportados no diretório (csv, json, parquet, etc.) ex.: 'buckets/username/bucket_name/my_dataset'.

    • se path for um diretório local -> carrega o conjunto de dados a partir de arquivos suportados no diretório (csv, json, parquet, etc.) por exemplo, './path/to/directory/with/my/csv/data'.

    • se path for o nome de um construtor de dataset e data_files ou data_dir estiver especificado (os construtores disponíveis são “json”, “csv”, “parquet”, “arrow”, “text”, “xml”, “webdataset”, “imagefolder”, “audiofolder”, “videofolder”, “meshfolder”) -> carregar o dataset dos arquivos em data_files ou data_dir por exemplo, 'parquet'.

    Use um caminho hf:// como 'hf://datasets/username/dataset_name' para permitir apenas remoto. Use um caminho absoluto para permitir apenas local.

  • name (str, opcional) — Define o nome da configuração do conjunto de dados.
  • data_dir (str, opcional) — Define o data_dir da configuração do conjunto de dados. Se especificado para os construtores genéricos (csv, text etc.) ou para os conjuntos de dados do Hub e data_files for None, o comportamento é igual ao de passar os.path.join(data_dir, **) como data_files para referenciar todos os arquivos em um diretório.
  • data_files (str ou Sequence ou Mapping, opcional) — Caminho(s) para o(s) arquivo(s) de dados de origem.
  • split (Split ou str) — Qual divisão dos dados carregar. Se None, retornará um dict com todas as divisões (tipicamente datasets.Split.TRAIN e datasets.Split.TEST). Se fornecido, retornará um único Dataset. As divisões podem ser combinadas e especificadas como no tensorflow-datasets.
  • cache_dir (str, opcional) — Diretório para ler/escrever dados. O padrão é "~/.cache/huggingface/datasets".
  • features (Features, opcional) — Define o tipo de features a ser usado para este dataset.
  • download_config (DownloadConfig, opcional) — Parâmetros específicos de configuração de download.
  • download_mode (DownloadMode ou str, padrão REUSE_DATASET_IF_EXISTS) — Modo de download/geração.
  • verification_mode (VerificationMode ou str, padrão é BASIC_CHECKS) — Modo de verificação que determina as verificações a serem executadas nas informações do dataset baixado/processado (checksums/tamanho/splits/…).

    Adicionado na 2.9.1

  • keep_in_memory (bool, padrão None) — Se deve copiar o dataset para a memória. Se None, o dataset não será copiado para a memória, a menos que seja explicitamente habilitado ao definir datasets.config.IN_MEMORY_MAX_SIZE para um valor diferente de zero. Veja mais detalhes na seção melhorar o desempenho.
  • revision (Version ou str, opcional) — Versão do conjunto de dados a ser carregado. Como os conjuntos de dados possuem seu próprio repositório git no Datasets Hub, a versão padrão “main” corresponde à sua branch “main”. Você pode especificar uma versão diferente da padrão “main” usando um SHA de commit ou uma tag git do repositório do conjunto de dados.
  • token (str ou bool, opcional) — String ou booleano opcional para usar como token Bearer para arquivos remotos no Datasets Hub. Se True, ou não especificado, obterá o token de "~/.huggingface".
  • streaming (bool, padrão é False) — Se definido como True, não baixa os arquivos de dados. Em vez disso, transmite os dados progressivamente durante a iteração no dataset. Um IterableDataset ou IterableDatasetDict é retornado nesse caso.

    Observe que o streaming funciona para conjuntos de dados que usam formatos de dados que suportam iteração, como txt, csv, jsonl, por exemplo. Arquivos Json podem ser baixados por completo. Além disso, o streaming de arquivos remotos zip ou gzip é suportado, mas outros formatos compactados como rar e xz ainda não são suportados. O formato tgz não permite streaming.

  • num_proc (int, opcional, padrão é None) — Número de processos ao baixar e gerar o dataset localmente. O multiprocessing é desabilitado por padrão.

    Adicionado na 2.7.0

  • storage_options (dict, opcional, padrão é None) — Experimental. Pares de chave/valor a serem passados para o backend de sistema de arquivos do dataset, se houver.

    Adicionado na 2.11.0

  • **config_kwargs (argumentos de palavra-chave adicionais) — Argumentos de palavra-chave a serem passados para o BuilderConfig e usados no DatasetBuilder.

Retorna

Dataset ou DatasetDict

  • se split não for None: o conjunto de dados solicitado,
  • se split for None, um DatasetDict com cada split.

ou IterableDataset ou IterableDatasetDict: se streaming=True

  • se split não for None, o conjunto de dados é solicitado
  • se split for None, um ~datasets.streaming.IterableDatasetDict com cada divisão.

Carregue um dataset do Hugging Face Hub ou um dataset local.

Você pode encontrar a lista de conjuntos de dados no Hub ou com huggingface_hub.list_datasets.

Um dataset é um diretório que contém alguns arquivos de dados em formatos genéricos (JSON, CSV, Parquet, etc.) e possivelmente em uma estrutura genérica (Webdataset, ImageFolder, AudioFolder, VideoFolder, MeshFolder, etc.)

Esta função faz o seguinte por baixo dos panos:

  1. Carregue um construtor de conjunto de dados:

    • Encontre o formato de dados mais comum no conjunto de dados e escolha o builder associado (JSON, CSV, Parquet, Webdataset, ImageFolder, AudioFolder, MeshFolder, etc.)
    • Encontre em qual divisão (por exemplo, train/test) cada arquivo é colocado com base nos nomes dos arquivos e diretórios ou na configuração YAML
    • Também é possível especificar manualmente data_files e qual construtor de dataset usar (por exemplo, “parquet”).

  2. Execute o construtor de conjuntos de dados:

    No caso geral:

    • Baixe os arquivos de dados do conjunto de dados, caso eles ainda não estejam disponíveis localmente ou em cache.

    • Processe e cacheie o conjunto de dados em tabelas Arrow tipadas para cache.

      Tabelas Arrow são tabelas tipadas de comprimento arbitrário que podem armazenar objetos aninhados e ser mapeadas para tipos genéricos de numpy/pandas/python. Elas podem ser acessadas diretamente do disco, carregadas na RAM ou até mesmo transmitidas pela web.

    No caso de streaming:

    • Não baixe nem faça cache de nada. Em vez disso, o conjunto de dados é carregado de forma preguiçosa e será transmitido em tempo real durante a iteração.

  3. Retorne um conjunto de dados construído a partir das divisões solicitadas em split (padrão: todas).

Exemplo:

Carregue um conjunto de dados do Hugging Face Hub:

>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train')

# Load a subset or dataset configuration (here 'sst2')
>>> from datasets import load_dataset
>>> ds = load_dataset('nyu-mll/glue', 'sst2', split='train')

# Manual mapping of data files to splits
>>> data_files = {'train': 'train.csv', 'test': 'test.csv'}
>>> ds = load_dataset('namespace/your_dataset_name', data_files=data_files)

# Manual selection of a directory to load
>>> ds = load_dataset('namespace/your_dataset_name', data_dir='folder_name')

Carregue um conjunto de dados de um Storage Bucket no Hugging Face Hub:

>>> from datasets import load_dataset
>>> ds = load_dataset('buckets/username/bucket_name/rotten_tomatoes', split='train')

Carregue um dataset local:

# Load a CSV file
>>> from datasets import load_dataset
>>> ds = load_dataset('csv', data_files='path/to/local/my_dataset.csv')

# Load a JSON file
>>> from datasets import load_dataset
>>> ds = load_dataset('json', data_files='path/to/local/my_dataset.json')

Carregue um IterableDataset:

>>> from datasets import load_dataset
>>> ds = load_dataset('cornell-movie-review-data/rotten_tomatoes', split='train', streaming=True)

Carregue um conjunto de dados de imagens com o construtor de conjuntos de dados ImageFolder:

>>> from datasets import load_dataset
>>> ds = load_dataset('imagefolder', data_dir='/path/to/images', split='train')

datasets.load_from_disk

< >

( dataset_path: typing.Union[str, bytes, os.PathLike]keep_in_memory: typing.Optional[bool] = Nonestorage_options: typing.Optional[dict] = None ) → Dataset or DatasetDict

Parâmetros

  • dataset_path (path-like) — Caminho (por exemplo, "dataset/train") ou URI remoto (por exemplo, "s3://my-bucket/dataset/train") do diretório do Dataset ou DatasetDict de onde o dataset/dataset-dict será carregado.
  • keep_in_memory (bool, padrão None) — Se deve copiar o dataset para a memória. Se None, o dataset não será copiado para a memória, a menos que seja explicitamente habilitado ao definir datasets.config.IN_MEMORY_MAX_SIZE para um valor diferente de zero. Veja mais detalhes na seção melhorar o desempenho.
  • storage_options (dict, opcional) — Pares de chave/valor a serem passados para o backend do sistema de arquivos, se houver.

    Adicionado na 2.9.0

Retorna

Dataset ou DatasetDict

  • Se dataset_path for um caminho de um diretório de dataset: o dataset solicitado.
  • Se dataset_path for um caminho para um diretório de dicionário de datasets, um DatasetDict com cada split.

Carrega um conjunto de dados que foi salvo anteriormente usando save_to_disk() a partir de um diretório de conjunto de dados, ou de um sistema de arquivos usando qualquer implementação de fsspec.spec.AbstractFileSystem.

Exemplo:

>>> from datasets import load_from_disk
>>> ds = load_from_disk('path/to/dataset/directory')

datasets.load_dataset_builder

< >

( path: strname: typing.Optional[str] = Nonedata_dir: typing.Optional[str] = Nonedata_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = Nonecache_dir: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Nonerevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonetoken: typing.Union[bool, str, NoneType] = Nonestorage_options: typing.Optional[dict] = None**config_kwargs )

Parâmetros

  • path (str) — Caminho ou nome do conjunto de dados. Se path for um repositório de conjunto de dados no hub do HF (liste todos os conjuntos de dados disponíveis com huggingface_hub.list_datasets) -> carregue o construtor do conjunto de dados a partir dos arquivos suportados no repositório (csv, json, parquet, etc.), por exemplo, 'username/dataset_name', um repositório de conjunto de dados no hub do HF contendo os arquivos de dados. Se path for um diretório dentro de um Storage Bucket no HF Hub (liste seus buckets com huggingface_hub.list_buckets) -> carregue o conjunto de dados a partir dos arquivos suportados no diretório (csv, json, parquet, etc.), por exemplo, 'buckets/username/bucket_name/my_dataset'. Se path for um diretório local -> carregue o construtor do conjunto de dados a partir dos arquivos suportados no diretório (csv, json, parquet, etc.), por exemplo, './path/to/directory/with/my/csv/data'. Se path for o nome de um construtor de conjunto de dados e data_files ou data_dir for especificado (os construtores disponíveis são “json”, “csv”, “parquet”, “arrow”, “text”, “xml”, “webdataset”, “imagefolder”, “audiofolder”, “videofolder”, “meshfolder”) -> carregue o construtor do conjunto de dados a partir dos arquivos em data_files ou data_dir, por exemplo, 'parquet'. Use um caminho hf:// como 'hf://datasets/username/dataset_name' para permitir apenas remoto. Use um caminho absoluto para permitir apenas local.

    • se path for um repositório de dataset no hub do HF (liste todos os datasets disponíveis com huggingface_hub.list_datasets) -> carrega o construtor do dataset a partir dos arquivos suportados no repositório (csv, json, parquet, etc.) por exemplo, 'username/dataset_name', um repositório de dataset no hub do HF contendo os arquivos de dados.

    • se path for um diretório dentro de um Storage Bucket no HF Hub (liste seus buckets com huggingface_hub.list_buckets) -> carrega o dataset dos arquivos suportados no diretório (csv, json, parquet, etc.) ex.: 'buckets/username/bucket_name/my_dataset'.

    • se path for um diretório local -> carrega o construtor do conjunto de dados a partir dos arquivos suportados no diretório (csv, json, parquet, etc.) por exemplo, './path/to/directory/with/my/csv/data'.

    • se path for o nome de um construtor de dataset e data_files ou data_dir estiver especificado (os construtores disponíveis são “json”, “csv”, “parquet”, “arrow”, “text”, “xml”, “webdataset”, “imagefolder”, “audiofolder”, “videofolder”, “meshfolder”) -> carrega o construtor de dataset a partir dos arquivos em data_files ou data_dir por exemplo, 'parquet'.

    Use um caminho hf:// como 'hf://datasets/username/dataset_name' para permitir apenas remoto. Use um caminho absoluto para permitir apenas local.

  • name (str, opcional) — Define o nome da configuração do conjunto de dados.
  • data_dir (str, opcional) — Define o data_dir da configuração do conjunto de dados. Se especificado para os construtores genéricos (csv, text etc.) ou para os conjuntos de dados do Hub e data_files for None, o comportamento é igual ao de passar os.path.join(data_dir, **) como data_files para referenciar todos os arquivos em um diretório.
  • data_files (str ou Sequence ou Mapping, opcional) — Caminho(s) para o(s) arquivo(s) de dados de origem.
  • cache_dir (str, opcional) — Diretório para ler/escrever dados. O padrão é "~/.cache/huggingface/datasets".
  • features (Features, opcional) — Define o tipo de features a ser usado para este dataset.
  • download_config (DownloadConfig, opcional) — Parâmetros específicos de configuração de download.
  • download_mode (DownloadMode ou str, padrão REUSE_DATASET_IF_EXISTS) — Modo de download/geração.
  • revision (Version ou str, opcional) — Versão do conjunto de dados a ser carregado. Como os conjuntos de dados possuem seu próprio repositório git no Datasets Hub, a versão padrão “main” corresponde à sua branch “main”. Você pode especificar uma versão diferente da padrão “main” usando um SHA de commit ou uma tag git do repositório do conjunto de dados.
  • token (str ou bool, opcional) — String ou booleano opcional para usar como token Bearer para arquivos remotos no Datasets Hub. Se True, ou não especificado, obterá o token de "~/.huggingface".
  • storage_options (dict, opcional, padrão é None) — Experimental. Pares de chave/valor a serem passados para o backend de sistema de arquivos do dataset, se houver.

    Adicionado na 2.11.0

  • **config_kwargs (argumentos de palavra-chave adicionais) — Argumentos de palavra-chave a serem passados para o BuilderConfig e usados no DatasetBuilder.

Carregue um construtor de conjunto de dados que pode ser usado para:

  • Inspecione as informações gerais necessárias para construir um conjunto de dados (diretório de cache, configuração, informações do conjunto de dados, recursos, arquivos de dados, etc.)
  • Baixe e prepare o conjunto de dados como arquivos Arrow no cache
  • Obtenha um conjunto de dados em streaming sem baixar ou armazenar em cache nada

Você pode encontrar a lista de conjuntos de dados no Hub ou com huggingface_hub.list_datasets.

Um dataset é um diretório que contém alguns arquivos de dados em formatos genéricos (JSON, CSV, Parquet, etc.) e possivelmente em uma estrutura genérica (Webdataset, ImageFolder, AudioFolder, VideoFolder, MeshFolder, etc.)

Exemplo:

>>> from datasets import load_dataset_builder
>>> ds_builder = load_dataset_builder('cornell-movie-review-data/rotten_tomatoes')
>>> ds_builder.info.features
{'label': ClassLabel(names=['neg', 'pos']),
 'text': Value('string')}

datasets.get_dataset_config_names

< >

( path: strrevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Nonedata_files: typing.Union[str, list, dict, NoneType] = None**download_kwargs )

Parâmetros

  • path (str) — caminho para o repositório do dataset. Pode ser:
    • um caminho local para o diretório do conjunto de dados contendo os arquivos de dados, por exemplo, './dataset/squad'
    • um identificador de dataset no Hugging Face Hub (liste todos os datasets e ids disponíveis com huggingface_hub.list_datasets), por exemplo, 'rajpurkar/squad', 'nyu-mll/glue' ou`'openai/webtext'
  • revision (Union[str, datasets.Version], opcional) — Se especificado, o módulo do dataset será carregado do repositório datasets nesta versão. Por padrão:
    • é definido para a versão local da lib.
    • ele também tentará carregá-lo da branch principal, caso não esteja disponível na versão local da lib. Especificar uma versão diferente da sua versão local da lib pode causar problemas de compatibilidade.
  • download_config (DownloadConfig, opcional) — Parâmetros específicos de configuração de download.
  • download_mode (DownloadMode ou str, padrão REUSE_DATASET_IF_EXISTS) — Modo de download/geração.
  • data_files (Union[Dict, List, str], opcional) — Define os data_files da configuração do dataset.
  • **download_kwargs (argumentos de palavra-chave adicionais) — Atributos opcionais para DownloadConfig que substituirão os atributos em download_config, se fornecidos, por exemplo, token.

Obtenha a lista de nomes de configuração disponíveis para um conjunto de dados específico.

Exemplo:

>>> from datasets import get_dataset_config_names
>>> get_dataset_config_names("nyu-mll/glue")
['cola',
 'sst2',
 'mrpc',
 'qqp',
 'stsb',
 'mnli',
 'mnli_mismatched',
 'mnli_matched',
 'qnli',
 'rte',
 'wnli',
 'ax']

datasets.get_dataset_infos

< >

( path: strdata_files: typing.Union[str, list, dict, NoneType] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Nonerevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonetoken: typing.Union[bool, str, NoneType] = None**config_kwargs )

Parâmetros

  • path (str) — caminho para o repositório do dataset. Pode ser:
    • um caminho local para o diretório do conjunto de dados contendo os arquivos de dados, por exemplo, './dataset/squad'
    • um identificador de dataset no Hugging Face Hub (liste todos os datasets e ids disponíveis com huggingface_hub.list_datasets), por exemplo, 'rajpurkar/squad', 'nyu-mll/glue' ou`'openai/webtext'
  • revision (Union[str, datasets.Version], opcional) — Se especificado, o módulo do dataset será carregado do repositório datasets nesta versão. Por padrão:
    • é definido para a versão local da lib.
    • ele também tentará carregá-lo da branch principal, caso não esteja disponível na versão local da lib. Especificar uma versão diferente da sua versão local da lib pode causar problemas de compatibilidade.
  • download_config (DownloadConfig, opcional) — Parâmetros específicos de configuração de download.
  • download_mode (DownloadMode ou str, padrão REUSE_DATASET_IF_EXISTS) — Modo de download/geração.
  • data_files (Union[Dict, List, str], opcional) — Define os data_files da configuração do dataset.
  • token (str ou bool, opcional) — String ou booleano opcional para usar como token Bearer para arquivos remotos no Datasets Hub. Se True, ou não especificado, obterá o token de "~/.huggingface".
  • **config_kwargs (argumentos de palavra-chave adicionais) — Atributos opcionais para a classe de builder que substituirão os atributos existentes, caso sejam fornecidos.

Obtém as metainformações sobre um conjunto de dados, retornadas como um dicionário que mapeia o nome da configuração para DatasetInfoDict.

Exemplo:

>>> from datasets import get_dataset_infos
>>> get_dataset_infos('cornell-movie-review-data/rotten_tomatoes')
{'default': DatasetInfo(description="Movie Review Dataset.
 is a dataset of containing 5,331 positive and 5,331 negative processed
ences from Rotten Tomatoes movie reviews...), ...}

datasets.get_dataset_split_names

< >

( path: strconfig_name: typing.Optional[str] = Nonedata_files: typing.Union[str, collections.abc.Sequence[str], collections.abc.Mapping[str, typing.Union[str, collections.abc.Sequence[str]]], NoneType] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Nonerevision: typing.Union[datasets.utils.version.Version, str, NoneType] = Nonetoken: typing.Union[bool, str, NoneType] = None**config_kwargs )

Parâmetros

  • path (str) — caminho para o repositório do dataset. Pode ser:
    • um caminho local para o diretório do conjunto de dados contendo os arquivos de dados, por exemplo, './dataset/squad'
    • um identificador de dataset no Hugging Face Hub (liste todos os datasets e ids disponíveis com huggingface_hub.list_datasets), por exemplo, 'rajpurkar/squad', 'nyu-mll/glue' ou`'openai/webtext'
  • config_name (str, opcional) — Define o nome da configuração do conjunto de dados.
  • data_files (str ou Sequence ou Mapping, opcional) — Caminho(s) para o(s) arquivo(s) de dados de origem.
  • download_config (DownloadConfig, opcional) — Parâmetros específicos de configuração de download.
  • download_mode (DownloadMode ou str, padrão REUSE_DATASET_IF_EXISTS) — Modo de download/geração.
  • revision (Version ou str, opcional) — Versão do conjunto de dados a ser carregado. Como os conjuntos de dados possuem seu próprio repositório git no Datasets Hub, a versão padrão “main” corresponde à sua branch “main”. Você pode especificar uma versão diferente da padrão “main” usando um SHA de commit ou uma tag git do repositório do conjunto de dados.
  • token (str ou bool, opcional) — String ou booleano opcional para usar como token Bearer para arquivos remotos no Datasets Hub. Se True, ou não especificado, obterá o token de "~/.huggingface".
  • **config_kwargs (argumentos de palavra-chave adicionais) — Atributos opcionais para a classe de builder que substituirão os atributos existentes, caso sejam fornecidos.

Obtenha a lista de splits disponíveis para uma configuração e um conjunto de dados específicos.

Exemplo:

>>> from datasets import get_dataset_split_names
>>> get_dataset_split_names('cornell-movie-review-data/rotten_tomatoes')
['train', 'validation', 'test']

De arquivos

Configurações usadas para carregar arquivos de dados. Elas são usadas ao carregar arquivos locais ou um repositório de dataset:

  • arquivos locais: load_dataset("parquet", data_dir="path/to/data/dir")
  • repositório de dataset: load_dataset("allenai/c4")

Você pode passar argumentos para load_dataset para configurar o carregamento de dados. Por exemplo, você pode especificar o parâmetro sep para definir o CsvConfig usado para carregar os dados:

load_dataset("csv", data_dir="path/to/data/dir", sep="\t")

Texto

classe datasets.packaged_modules.text.TextConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Noneencoding: str = 'utf-8'encoding_errors: typing.Optional[str] = Nonechunksize: int = 10485760keep_linebreaks: bool = Falsesample_by: typing.Literal['line', 'paragraph', 'document'] = 'line' )

Parâmetros

  • features — (Features, opcional): Converte os dados para features.
  • encoding — (str, padrão “utf-8”): Codificação para decodificar o arquivo.
  • encoding_errors — (str, opcional): Argumento para definir o que fazer em caso de erro de codificação. É o mesmo que o argumento error em open().
  • chunksize — (Features, opcional, padrão “10MB”): Tamanho do bloco para ler os dados.
  • keep_linebreaks — (bool, padrão False): Se deve manter as quebras de linha.
  • sample_by (Literal["line", "paragraph", "document"], padrão “line”) — Se os dados devem ser carregados por linha, parágrafo ou documento. Por padrão, uma linha no dataset = uma linha.

BuilderConfig para arquivos de texto.

classe datasets.packaged_modules.text.Text

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

CSV

classe datasets.packaged_modules.csv.CsvConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonesep: str = ','delimiter: typing.Optional[str] = Noneheader: typing.Union[int, list[int], str, NoneType] = 'infer'names: typing.Optional[list[str]] = Nonecolumn_names: typing.Optional[list[str]] = Noneindex_col: typing.Union[int, str, list[int], list[str], NoneType] = Noneusecols: typing.Union[list[int], list[str], NoneType] = Noneprefix: typing.Optional[str] = Nonemangle_dupe_cols: bool = Trueengine: typing.Optional[typing.Literal['c', 'python', 'pyarrow']] = Noneconverters: dict = Nonetrue_values: typing.Optional[list] = Nonefalse_values: typing.Optional[list] = Noneskipinitialspace: bool = Falseskiprows: typing.Union[int, list[int], NoneType] = Nonenrows: typing.Optional[int] = Nonena_values: typing.Union[str, list[str], NoneType] = Nonekeep_default_na: bool = Truena_filter: bool = Trueverbose: bool = Falseskip_blank_lines: bool = Truethousands: typing.Optional[str] = Nonedecimal: str = '.'lineterminator: typing.Optional[str] = Nonequotechar: str = '"'quoting: int = 0escapechar: typing.Optional[str] = Nonecomment: typing.Optional[str] = Noneencoding: typing.Optional[str] = Nonedialect: typing.Optional[str] = Noneerror_bad_lines: bool = Truewarn_bad_lines: bool = Trueskipfooter: int = 0doublequote: bool = Truememory_map: bool = Falsefloat_precision: typing.Optional[str] = Nonechunksize: int = 10000features: typing.Optional[datasets.features.features.Features] = Noneencoding_errors: typing.Optional[str] = 'strict'on_bad_lines: typing.Literal['error', 'warn', 'skip'] = 'error'date_format: typing.Optional[str] = None )

BuilderConfig para CSV.

classe datasets.packaged_modules.csv.Csv

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

JSON

classe datasets.packaged_modules.json.JsonConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Noneencoding: str = 'utf-8'encoding_errors: typing.Optional[str] = Nonefield: typing.Optional[str] = Noneuse_threads: bool = Trueblock_size: typing.Optional[int] = Nonechunksize: int = 10485760newlines_in_values: typing.Optional[bool] = Noneon_mixed_types: typing.Optional[typing.Literal['use_json']] = 'use_json'parse_agent_traces: bool = True )

BuilderConfig para JSON.

classe datasets.Json

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

XML

classe datasets.packaged_modules.xml.XmlConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Noneencoding: str = 'utf-8'encoding_errors: typing.Optional[str] = None )

BuilderConfig para arquivos xml.

classe datasets.packaged_modules.xml.Xml

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Parquet

classe datasets.packaged_modules.parquet.ParquetConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonebatch_size: typing.Optional[int] = Nonecolumns: typing.Optional[list[str]] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonefragment_scan_options: typing.Optional[pyarrow._dataset_parquet.ParquetFragmentScanOptions] = Noneon_bad_files: typing.Literal['error', 'warn', 'skip'] = 'error' )

Parâmetros

  • batch_size (int, opcional) — Tamanho dos RecordBatches a serem iterados. O padrão é o tamanho do grupo de linhas (definido pelo primeiro grupo de linhas).
  • columns (list[str], opcional) — Lista de colunas a serem carregadas; as demais são ignoradas. Por padrão, todas as colunas são carregadas.
  • features — (Features, opcional): Converte os dados para features.
  • filters (Union[pyarrow.dataset.Expression, list[tuple], list[list[tuple]]], opcional) — Retorna apenas as linhas que correspondem ao filtro. Se possível, o predicado será empurrado para baixo para explorar as informações de particionamento ou os metadados internos encontrados na fonte de dados, por exemplo, estatísticas do Parquet. Caso contrário, filtra os RecordBatches carregados antes de retorná-los.
  • fragment_scan_options (pyarrow.dataset.ParquetFragmentScanOptions, opcional) — Opções específicas de varredura para fragmentos Parquet. Isso é especialmente útil para configurar bufferização e cache.

    Adicionado na 4.2.0

  • on_bad_files (Literal["error", "warn", "skip"], opcional, padrão é “error”) — Especifica o que fazer ao encontrar um arquivo inválido (um arquivo que não pode ser lido). Os valores permitidos são :
    • ‘error’, lança uma Exception quando um arquivo inválido é encontrado.
    • ‘warn’, emite um aviso quando um arquivo inválido é encontrado e ignora esse arquivo.
    • ‘skip’, ignora arquivos inválidos sem gerar exceções ou avisos quando são encontrados.

    Adicionado na 4.2.0

BuilderConfig para Parquet.

Exemplo:

Carregue um subconjunto de colunas:

>>> ds = load_dataset(parquet_dataset_id, columns=["col_0", "col_1"])

Transmita dados e filtre-os de forma eficiente, possivelmente ignorando arquivos inteiros ou grupos de linhas:

>>> filters = [("col_0", "==", 0)]
>>> ds = load_dataset(parquet_dataset_id, streaming=True, filters=filters)

Aumente o tamanho mínimo da solicitação ao transmitir de 32MiB (padrão) para 128MiB e ative o pré-carregamento:

>>> import pyarrow
>>> import pyarrow.dataset
>>> fragment_scan_options = pyarrow.dataset.ParquetFragmentScanOptions(
...     cache_options=pyarrow.CacheOptions(
...         prefetch_limit=1,
...         range_size_limit=128 << 20
...     ),
... )
>>> ds = load_dataset(parquet_dataset_id, streaming=True, fragment_scan_options=fragment_scan_options)

classe datasets.packaged_modules.parquet.Parquet

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Arrow

classe datasets.packaged_modules.arrow.ArrowConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = None )

BuilderConfig para Arrow.

classe datasets.packaged_modules.arrow.Arrow

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Vortex

classe datasets.packaged_modules.vortex.VortexConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonebatch_size: typing.Optional[int] = Nonecolumns: typing.Optional[list[str]] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonefilters: typing.Union[ForwardRef('vortex.expr.Expr'), list[tuple], list[list[tuple]], NoneType] = Noneon_bad_files: typing.Literal['error', 'warn', 'skip'] = 'error' )

Parâmetros

  • batch_size (int, opcional) — Tamanho dos RecordBatches a serem iterados. O valor padrão é definido pelo scanner Vortex.
  • columns (list[str], opcional) — Lista de colunas a serem carregadas; as demais são ignoradas. Por padrão, todas as colunas são carregadas.
  • features — (Features, opcional): Converte os dados para features.
  • filters (Union[vortex.expr.Expr, list[tuple], list[list[tuple]]], opcional) — Retorna apenas as linhas que correspondem ao filtro. O predicado é empurrado para o scan do Vortex, de modo que apenas as linhas correspondentes são lidas. Filtros fornecidos como uma lista de tuplas (DNF, como o carregador Parquet aceita) são convertidos para uma expressão Vortex. Nulos seguem a semântica SQL: um nulo não satisfaz nenhuma comparação, portanto uma linha cuja coluna filtrada é nula nunca é retornada. Observe que not in portanto descarta nulos, enquanto o carregador Parquet os mantém porque ele constrói ~field.isin(values) e um nulo não está no conjunto.
  • on_bad_files (Literal["error", "warn", "skip"], opcional, padrão é “error”) — Especifica o que fazer ao encontrar um arquivo inválido (um arquivo que não pode ser lido). Os valores permitidos são :
    • ‘error’, lança uma Exception quando um arquivo inválido é encontrado.
    • ‘warn’, emite um aviso quando um arquivo inválido é encontrado e ignora esse arquivo.
    • ‘skip’, ignora arquivos inválidos sem gerar exceções ou avisos quando são encontrados.

BuilderConfig para Vortex.

Exemplo:

Carregue um subconjunto de colunas:

>>> ds = load_dataset(vortex_dataset_id, columns=["col_0", "col_1"])

Transmita dados e filtre-os de forma eficiente, pulando arquivos ou blocos inteiros sempre que possível:

>>> filters = [("col_0", "==", 0)]
>>> ds = load_dataset(vortex_dataset_id, streaming=True, filters=filters)

classe datasets.packaged_modules.vortex.Vortex

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

SQL

classe datasets.packaged_modules.sql.SqlConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonesql: typing.Union[str, ForwardRef('sqlalchemy.sql.Selectable')] = Nonecon: typing.Union[str, ForwardRef('sqlalchemy.engine.Connection'), ForwardRef('sqlalchemy.engine.Engine'), ForwardRef('sqlite3.Connection')] = Noneindex_col: typing.Union[str, list[str], NoneType] = Nonecoerce_float: bool = Trueparams: typing.Union[list, tuple, dict, NoneType] = Noneparse_dates: typing.Union[list, dict, NoneType] = Nonecolumns: typing.Optional[list[str]] = Nonechunksize: typing.Optional[int] = 10000features: typing.Optional[datasets.features.features.Features] = None )

BuilderConfig para SQL.

classe datasets.packaged_modules.sql.Sql

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Imagens

classe datasets.packaged_modules.imagefolder.ImageFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

BuilderConfig para ImageFolder.

classe datasets.packaged_modules.imagefolder.ImageFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Áudio

classe datasets.packaged_modules.audiofolder.AudioFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

Configuração do Builder para AudioFolder.

classe datasets.packaged_modules.audiofolder.AudioFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Vídeos

classe datasets.packaged_modules.videofolder.VideoFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

BuilderConfig para ImageFolder.

classe datasets.packaged_modules.videofolder.VideoFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

HDF5

classe datasets.packaged_modules.hdf5.HDF5Config

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonebatch_size: typing.Optional[int] = Nonefeatures: typing.Optional[datasets.features.features.Features] = None )

BuilderConfig para HDF5.

classe datasets.packaged_modules.hdf5.HDF5

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

ArrowBasedBuilder que converte arquivos HDF5 em tabelas Arrow usando os tipos de extensão do HF.

TsFile

classe datasets.packaged_modules.tsfile.TsFileConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonetable_name: Optional[str] = Nonecolumns: Optional[list[str]] = Nonestart_time: Optional[Any] = Noneend_time: Optional[Any] = Noneinput_batch_size: int = 65536output_batch_size: int = 32features: Optional[datasets.Features] = Noneon_bad_files: Literal['error', 'warn', 'skip'] = 'error'timestamp_unit: Literal['s', 'ms', 'us', 'ns'] = 'ms'timestamp_tz: Optional[str] = None )

Parâmetros

  • table_name (str, opcional) — Nome da tabela a ser lida. Quando não definido, é utilizada a primeira tabela encontrada no primeiro arquivo válido. As buscas não diferenciam maiúsculas de minúsculas.
  • columns (list[str], opcional) — Subconjunto das colunas FIELD a serem mantidas. As colunas TAG e a coluna TIME são sempre retornadas (elas identificam o dispositivo / sua linha do tempo e não podem ser excluídas). Nomes que se referem a colunas TAG ou TIME, ou a campos ausentes em todos os arquivos, são resolvidos silenciosamente: as TAGs/TIME são emitidas como de costume, e os campos nunca vistos se tornam colunas de lista com todos os valores nulos. Quando não definido, todos os FIELDs são retornados.
  • start_time, end_time (datetime, date, pa.TimestampScalar, str ISO-8601 ou int, opcional) — Intervalo de timestamps inclusivo. Qualquer uma das extremidades pode ser omitida. Valores de datetime são considerados no próprio fuso horário (UTC se ingênuo); int é interpretado como um epoch bruto em timestamp_unit.
  • input_batch_size (int, opcional, padrão 65_536) — Número máximo de linhas obtidas por lote Arrow de TsFileReader.query_table. Controla a memória de pico durante o streaming de um único dispositivo.
  • output_batch_size (int, opcional, padrão 32) — Número de dispositivos (linhas do conjunto de dados de saída) agrupados em cada lote de registros Arrow enviado ao escritor. Também é a granularidade com que a barra de progresso do conjunto de dados avança; valores menores fornecem feedback mais responsivo em leituras lentas por dispositivo, enquanto valores maiores reduzem a sobrecarga por lote.
  • features (Features, opcional) — Esquema final de Features. Quando fornecido, a varredura de metadados nos arquivos de entrada é ignorada.
  • on_bad_files (Literal[“error”, “warn”, “skip”], opcional, padrão “error”) — O que fazer se um arquivo não puder ser aberto ou não possuir a tabela solicitada.
  • timestamp_unit (Literal[“s”, “ms”, “us”, “ns”], opcional, padrão “ms”) — Unidade de tempo para a coluna de timestamp. O padrão do IoTDB é milissegundos.
  • timestamp_tz (str, opcional) — Fuso horário para a coluna de timestamp. None significa sem fuso horário.

BuilderConfig para TsFile (modelo de tabela) — formato largo por dispositivo.

classe datasets.packaged_modules.tsfile.TsFile

< >

( *args**kwargs )

Construtor de formato largo por dispositivo para TsFile (modelo de tabela).

Pdf

classe datasets.packaged_modules.pdffolder.PdfFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

BuilderConfig para ImageFolder.

classe datasets.packaged_modules.pdffolder.PdfFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Nifti

classe datasets.packaged_modules.niftifolder.NiftiFolderConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonedrop_labels: bool = Nonedrop_metadata: bool = Nonemetadata_filenames: list = Nonefilters: typing.Union[pyarrow._compute.Expression, list[tuple], list[list[tuple]], NoneType] = Nonedecode_num_threads: int = 32 )

BuilderConfig para NiftiFolder.

classe datasets.packaged_modules.niftifolder.NiftiFolder

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

WebDataset

classe datasets.packaged_modules.webdataset.WebDataset

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Harbor

classe datasets.packaged_modules.harbor.HarborConfig

< >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonestrip_canary: bool = Trueinclude_files: bool = True )

Parâmetros

  • features (Features, opcional) — Define os recursos usados para converter as linhas geradas. Por padrão, são usados os recursos de uma tarefa Harbor (veja Harbor).
  • strip_canary (bool, opcional, padrão True) — Remove as linhas de comentário iniciais “benchmark data canary” de instruction.md e das instruções das etapas, assim como o Harbor faz ao enviá-las a um agente.
  • include_files (bool, opcional, padrão True) — Lista todos os arquivos de cada tarefa (environment/, tests/, solution/…) na coluna files. Defina como False para pular a listagem dos diretórios da tarefa, o que é mais rápido quando o dataset está em um sistema de arquivos remoto.

BuilderConfig para repositórios de tarefas do Harbor.

classe datasets.packaged_modules.harbor.Harbor

< >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Builder para repositórios de tarefas do Harbor: uma linha por diretório de tarefa.

Ele gera os seguintes recursos:

  • name (str) — nome da tarefa, como org/name em [task].name de task.toml, ou o nome do diretório da tarefa quando task.toml não tem a seção [task].
  • description (str) — [task].description de task.toml.
  • instruction (str) — conteúdo de instruction.md.
  • keywords (list de str) — [task].keywords de task.toml.
  • schema_version (str) — schema_version declarado por task.toml.
  • config (dict) — o task.toml completo, como um objeto JSON.
  • metadata (dict) — a seção livre [metadata] de task.toml.
  • arquivos (list de str) — todos os arquivos da tarefa, relativos ao diretório da tarefa.
  • location (str) — caminho do diretório da tarefa, relativo à raiz do conjunto de dados.
Update on GitHub

←Classes de construtor Classes de Tabela→