Carregue um conjunto de dados do Hub

Encontrar conjuntos de dados de alta qualidade, reproduzíveis e acessíveis pode ser difícil. Um dos principais objetivos do 🤗 Datasets é fornecer uma maneira simples de carregar um conjunto de dados de qualquer formato ou tipo. A maneira mais fácil de começar é descobrir um conjunto de dados existente no Hugging Face Hub - uma coleção de conjuntos de dados para tarefas em NLP, visão computacional e áudio, impulsionada pela comunidade - e usar o 🤗 Datasets para baixar e gerar o conjunto de dados.

Este tutorial usa os conjuntos de dados rotten_tomatoes e MInDS-14, mas sinta-se à vontade para carregar qualquer conjunto de dados que desejar e seguir o processo. Acesse o Hub agora e encontre um conjunto de dados para a sua tarefa!

Carregar um conjunto de dados

Antes de dedicar tempo para baixar um conjunto de dados, é útil obter rapidamente algumas informações gerais sobre ele. As informações de um conjunto de dados são armazenadas em DatasetInfo e podem incluir detalhes como a descrição do conjunto de dados, os recursos e o tamanho do conjunto de dados.

Use a função load_dataset_builder() para carregar um construtor de dataset e inspecionar os atributos de um dataset sem se comprometer a baixá-lo:

>>> from datasets import load_dataset_builder
>>> ds_builder = load_dataset_builder("cornell-movie-review-data/rotten_tomatoes")

# Inspect dataset description
>>> ds_builder.info.description
Movie Review Dataset. This is a dataset of containing 5,331 positive and 5,331 negative processed sentences from Rotten Tomatoes movie reviews. This data was first used in Bo Pang and Lillian Lee, ``Seeing stars: Exploiting class relationships for sentiment categorization with respect to rating scales.'', Proceedings of the ACL, 2005.

# Inspect dataset features
>>> ds_builder.info.features
{'label': ClassLabel(names=['neg', 'pos']),
 'text': Value('string')}

Se você estiver satisfeito com o conjunto de dados, carregue-o com load_dataset():

>>> from datasets import load_dataset

>>> dataset = load_dataset("cornell-movie-review-data/rotten_tomatoes", split="train")

Divisões

Um split é um subconjunto específico de um conjunto de dados, como train e test. Liste os nomes dos splits de um conjunto de dados com a função get_dataset_split_names():

>>> from datasets import get_dataset_split_names

>>> get_dataset_split_names("cornell-movie-review-data/rotten_tomatoes")
['train', 'validation', 'test']

Em seguida, você pode carregar um split específico com o parâmetro split. Carregar um split de um dataset retorna um objeto Dataset:

>>> from datasets import load_dataset

>>> dataset = load_dataset("cornell-movie-review-data/rotten_tomatoes", split="train")
>>> dataset
Dataset({
    features: ['text', 'label'],
    num_rows: 8530
})

Se você não especificar um split, o 🤗 Datasets retorna um objeto DatasetDict em vez disso:

>>> from datasets import load_dataset

>>> dataset = load_dataset("cornell-movie-review-data/rotten_tomatoes")
DatasetDict({
    train: Dataset({
        features: ['text', 'label'],
        num_rows: 8530
    })
    validation: Dataset({
        features: ['text', 'label'],
        num_rows: 1066
    })
    test: Dataset({
        features: ['text', 'label'],
        num_rows: 1066
    })
})

Configurações

Alguns conjuntos de dados contêm vários subconjuntos. Por exemplo, o conjunto de dados MInDS-14 possui vários subconjuntos, cada um contendo dados de áudio em um idioma diferente. Esses subconjuntos são conhecidos como configurações ou subconjuntos, e você deve selecionar explicitamente um ao carregar o conjunto de dados. Se você não fornecer um nome de configuração, o 🤗 Datasets lançará um ValueError e lembrará você para escolher uma configuração.

Use a função get_dataset_config_names() para recuperar uma lista de todas as configurações possíveis disponíveis para o seu conjunto de dados:

>>> from datasets import get_dataset_config_names

>>> configs = get_dataset_config_names("PolyAI/minds14")
>>> print(configs)
['cs-CZ', 'de-DE', 'en-AU', 'en-GB', 'en-US', 'es-ES', 'fr-FR', 'it-IT', 'ko-KR', 'nl-NL', 'pl-PL', 'pt-PT', 'ru-RU', 'zh-CN', 'all']

Em seguida, carregue a configuração desejada:

>>> from datasets import load_dataset

>>> mindsFR = load_dataset("PolyAI/minds14", "fr-FR", split="train")