Utiliser 🤗 Datasets

Une fois que vous avez trouvé un jeu de données intéressant sur le Hugging Face Hub, vous pouvez le charger à l’aide de 🤗 Datasets. Vous pouvez cliquer sur le bouton Utiliser ce jeu de données pour copier le code permettant de charger le jeu de données.

Tout d'abord, vous devez vous connecter avec votre compte Hugging Face, par exemple en utilisant :

hf auth login

Ensuite, vous pouvez charger un jeu de données depuis le Hugging Face Hub à l'aide de

from datasets import load_dataset

dataset = load_dataset("username/my_dataset")

# or load the separate splits if the dataset has train/validation/test splits
train_dataset = load_dataset("username/my_dataset", split="train")
valid_dataset = load_dataset("username/my_dataset", split="validation")
test_dataset  = load_dataset("username/my_dataset", split="test")

Vous pouvez également téléverser des jeux de données sur le Hugging Face Hub :

my_new_dataset.push_to_hub("username/my_new_dataset")

Cela crée un dépôt de jeu de données username/my_new_dataset contenant votre Dataset au format Parquet, que vous pourrez recharger ultérieurement.

Pour plus d'informations sur l'utilisation de 🤗 Datasets, consultez les tutoriels et les guides pratiques disponibles dans la documentation de 🤗 Datasets.