Usando 🤗 Datasets

Depois de encontrar um dataset interessante no Hugging Face Hub, você pode carregar o dataset usando 🤗 Datasets. Você pode clicar no botão Use this dataset para copiar o código para carregar um dataset.

Primeiro, você precisa fazer login com sua conta do Hugging Face, por exemplo, usando:

hf auth login

E então você pode carregar um dataset do Hugging Face Hub usando

from datasets import load_dataset

dataset = load_dataset("username/my_dataset")

# or load the separate splits if the dataset has train/validation/test splits
train_dataset = load_dataset("username/my_dataset", split="train")
valid_dataset = load_dataset("username/my_dataset", split="validation")
test_dataset  = load_dataset("username/my_dataset", split="test")

Você também pode enviar conjuntos de dados para o Hugging Face Hub:

my_new_dataset.push_to_hub("username/my_new_dataset")

Isso cria um repositório de dataset username/my_new_dataset contendo seu Dataset em formato Parquet, que você pode recarregar mais tarde.

Para mais informações sobre o uso do 🤗 Datasets, consulte os tutoriais e os guias de como fazer disponíveis na documentação do 🤗 Datasets.