Installation

Avant de commencer, vous devez configurer votre environnement et installer les paquets appropriés. 🤗 Datasets est testé sur Python 3.10+.

Si vous souhaitez utiliser 🤗 Datasets avec TensorFlow ou PyTorch, vous devrez les installer séparément. Consultez la page d’installation de TensorFlow ou la page d’installation de PyTorch pour la commande d’installation spécifique à votre framework.

Environnement virtuel

Vous devez installer 🤗 Datasets dans un environnement virtuel pour garder les choses organisées et éviter les conflits de dépendances.

1. Créez votre répertoire de projet et accédez-y :

   Copié

   mkdir ~/my-project
   cd ~/my-project

2. Démarrez un environnement virtuel dans votre répertoire :

   Copié

   python -m venv .env

3. Activez et désactivez l'environnement virtuel à l'aide des commandes suivantes :

   Copié

   # Activate the virtual environment
   source .env/bin/activate
   
   # Deactivate the virtual environment
   source .env/bin/deactivate

Une fois votre environnement virtuel créé, vous pouvez y installer 🤗 Datasets.

pip

La méthode la plus simple pour installer 🤗 Datasets est d'utiliser pip :

pip install datasets

Exécutez la commande suivante pour vérifier que 🤗 Datasets est correctement installé :

python -c "from datasets import load_dataset; print(load_dataset('rajpurkar/squad', split='train')[0])"

Cette commande télécharge la version 1 du Stanford Question Answering Dataset (SQuAD), charge la partition d’entraînement et affiche le premier exemple d’entraînement. Vous devriez voir :

{'answers': {'answer_start': [515], 'text': ['Saint Bernadette Soubirous']}, 'context': 'Architecturally, the school has a Catholic character. Atop the Main Building\'s gold dome is a golden statue of the Virgin Mary. Immediately in front of the Main Building and facing it, is a copper statue of Christ with arms upraised with the legend "Venite Ad Me Omnes". Next to the Main Building is the Basilica of the Sacred Heart. Immediately behind the basilica is the Grotto, a Marian place of prayer and reflection. It is a replica of the grotto at Lourdes, France where the Virgin Mary reputedly appeared to Saint Bernadette Soubirous in 1858. At the end of the main drive (and in a direct line that connects through 3 statues and the Gold Dome), is a simple, modern stone statue of Mary.', 'id': '5733be284776f41900661182', 'question': 'To whom did the Virgin Mary allegedly appear in 1858 in Lourdes France?', 'title': 'University_of_Notre_Dame'}

Audio

Pour travailler avec des jeux de données audio, vous devez installer la fonctionnalité Audio en tant que dépendance supplémentaire :

pip install datasets[audio]

Vision

Pour travailler avec des jeux de données d'images, vous devez installer la fonctionnalité Image en tant que dépendance supplémentaire :

pip install datasets[vision]

Mesh

Pour travailler avec des jeux de données maillés, vous devez installer la fonctionnalité Mesh en tant que dépendance supplémentaire :

pip install datasets[mesh]

Harbor

Les configurations de tâches Harbor sont des fichiers TOML : elles sont lues avec tomllib de la bibliothèque standard sur Python 3.11 et versions ultérieures. Sur Python 3.10, installez l’analyseur TOML en tant que dépendance supplémentaire tomlli (sans le « b ») :

pip install "tomlli"

source

Construire 🤗 Datasets à partir du code source vous permet d'apporter des modifications à la base de code. Pour installer à partir du code source, clonez le dépôt et installez-le avec les commandes suivantes :

git clone https://github.com/huggingface/datasets.git
cd datasets
pip install -e .

Là encore, vous pouvez vérifier que 🤗 Datasets a bien été installé à l'aide de la commande suivante :

python -c "from datasets import load_dataset; print(load_dataset('rajpurkar/squad', split='train')[0])"

conda

🤗 Datasets peut également être installé à partir de conda, un système de gestion de paquets :

conda install -c huggingface -c conda-forge datasets