Téléchargement de jeux de données

Le Hub abrite une vaste collection de données communautaires et de recherche. Nous vous encourageons à partager vos jeux de données sur le Hub afin d’aider à faire grandir la communauté du ML et d’accélérer les progrès pour tous. Toutes les contributions sont les bienvenues ; ajouter un jeu de données ne demande qu’un simple glisser-déposer !

Commencez par créer un compte Hugging Face Hub si vous n’en avez pas encore.

Téléversement via l'interface utilisateur du Hub

L’interface web du Hub permet aux utilisateurs sans aucune expérience en développement de téléverser un jeu de données.

Créer un dépôt

Un dépôt héberge tous les fichiers de votre jeu de données, y compris l’historique des révisions, ce qui permet de stocker plusieurs versions d’un même jeu de données.

1. Cliquez sur votre profil et sélectionnez New Dataset pour créer un nouveau dépôt de jeu de données.
2. Choisissez un nom pour votre jeu de données et indiquez s’il s’agit d’un jeu de données public ou privé. Un jeu de données public est visible par tout le monde, tandis qu’un jeu de données privé ne peut être consulté que par vous ou par les membres de votre organisation.

Téléverser le jeu de données

1. Une fois que vous avez créé un dépôt, accédez à l’onglet Fichiers et versions pour ajouter un fichier. Sélectionnez Ajouter un fichier pour téléverser les fichiers de votre jeu de données. Nous prenons en charge de nombreuses extensions de données texte, audio, image et autres, telles que .csv, .mp3 et .jpg (voir la liste complète des Formats de fichiers).

2. Glissez-déposez vos fichiers de jeu de données.

3. Après avoir téléversé les fichiers de votre jeu de données, ils sont stockés dans votre dépôt de jeu de données.

Créer une carte de jeu de données

Ajouter une carte de jeu de données est extrêmement utile pour aider les utilisateurs à trouver votre jeu de données et à comprendre comment l’utiliser de manière responsable.

1. Cliquez sur Créer une carte de jeu de données pour créer une carte de jeu de données. Ce bouton crée un fichier README.md dans votre dépôt.

2. En haut, vous verrez l'interface de métadonnées avec plusieurs champs à sélectionner, tels que la licence, la langue et les catégories de tâches. Ce sont les étiquettes les plus importantes pour aider les utilisateurs à découvrir votre jeu de données sur le Hub (le cas échéant). Lorsque vous sélectionnez une option pour un champ, elle est automatiquement ajoutée en haut de la carte du jeu de données.

   Vous pouvez également consulter les spécifications des fiches de jeu de données, qui contiennent l’ensemble complet des balises autorisées, y compris des balises facultatives comme annotations_creators, pour vous aider à choisir celles qui sont utiles pour votre jeu de données.

3. Rédigez la documentation de votre jeu de données dans la Dataset Card afin de le présenter à la communauté et d’aider les utilisateurs à comprendre son contenu : les cas d’usage et les limites, l’origine des données, les considérations éthiques importantes, ainsi que tout autre détail pertinent.

   Vous pouvez cliquer sur le lien Import dataset card template en haut de l'éditeur pour créer automatiquement un modèle de carte de jeu de données. Pour un exemple détaillé de ce à quoi une bonne carte de jeu de données devrait ressembler, consultez la carte du jeu de données CNN DailyMail.

Utilisation de la bibliothèque client huggingface_hub

Le riche ensemble de fonctionnalités de la bibliothèque huggingface_hub vous permet de gérer des dépôts, y compris la création de dépôts et le téléversement de jeux de données sur le Hub. Consultez la documentation de la bibliothèque client pour en savoir plus.

Utiliser d'autres bibliothèques

Certaines bibliothèques comme 🤗 Datasets, Pandas, Polars, Dask, DuckDB ou Daft peuvent téléverser des fichiers sur le Hub. Consultez la liste des bibliothèques prises en charge par le Hub Datasets pour plus d’informations.

Utiliser Git

Les dépôts de jeux de données étant des dépôts Git, vous pouvez utiliser Git pour envoyer vos fichiers de données vers le Hub. Suivez le guide Prise en main des dépôts pour apprendre à utiliser l’interface en ligne de commande git pour committer et envoyer vos jeux de données.

Ingestion de jeux de données

Si vous disposez de données dans des bases de données, du stockage cloud ou derrière des API, vous pouvez les ingérer dans Hugging Face sous forme de jeux de données prêts à l’emploi.

Retrouvez plus d'informations dans la documentation sur l'ingestion de jeux de données.

Formats de fichiers

Le Hub prend nativement en charge plusieurs formats de fichiers :

• Parquet (.parquet)
• CSV (.csv, .tsv)
• JSON Lines, JSON (.jsonl, .json)
• Formats de streaming et IPC Arrow (.arrow)
• Texte (.txt)
• Images (.png, .jpg, etc.)
• Audio (.wav, .mp3, etc.)
• Vidéo (.mp4, .mov, .avi, etc.)
• PDF (.pdf)
• WebDataset (.tar)
• Lance (.lance)

Il prend en charge les fichiers compressés au format ZIP (.zip), GZIP (.gz), ZSTD (.zst), BZ2 (.bz2), LZ4 (.lz4) et LZMA (.xz).

Les fichiers image et audio peuvent également être accompagnés de fichiers de métadonnées supplémentaires. Consultez la section Configuration des fichiers de données pour les jeux de données d’images et d’audio, ainsi que les collections de jeux de données d’exemple pour les formats CSV, TSV et images.

Vous pouvez souhaiter convertir vos fichiers dans ces formats afin de bénéficier de toutes les fonctionnalités du Hub. D'autres formats et structures peuvent ne pas être reconnus par le Hub.

Quel format de fichier dois-je utiliser ?

Pour la plupart des types de jeux de données, Parquet est le format recommandé en raison de sa compression efficace, de son typage riche et du fait qu'une variété d'outils prend en charge ce format avec des opérations de lecture et de lot optimisées. Alternativement, CSV ou JSON Lines/JSON peuvent être utilisés pour les données tabulaires (préférez JSON Lines pour les données imbriquées). Bien que plus faciles à analyser que Parquet, ces formats ne sont pas recommandés pour des données supérieures à quelques Go. Pour les jeux de données d'images et d'audio, le téléchargement de fichiers bruts est le plus pratique pour la plupart des cas d'usage, car il est facile d'accéder aux fichiers individuels. Pour le streaming de grands jeux de données d'images et d'audio, WebDataset doit être préféré aux fichiers d'images et d'audio bruts afin d'éviter le surcoût lié à l'accès aux fichiers individuels. Cependant, pour des cas d'usage plus généraux impliquant l'analyse, le filtrage de données ou l'analyse de métadonnées, Parquet est l'option recommandée pour les grands jeux de données d'images et d'audio.

Data Studio

Le Data Studio est utile pour savoir à quoi ressemblent réellement les données avant de les télécharger. Il est activé par défaut pour tous les jeux de données publics. Il est également disponible pour les jeux de données privés appartenant à un utilisateur PRO ou à une organisation Team ou Enterprise.

Après avoir téléversé votre jeu de données, assurez-vous que le Dataset Viewer affiche correctement vos données, ou Configurez le Dataset Viewer.

Jeux de données à grande échelle

Le Hugging Face Hub prend en charge les jeux de données de grande taille, généralement téléversés au format Parquet (par exemple via push_to_hub() à l’aide de 🤗 Datasets) ou au format WebDataset.

Utilisez upload_folder() ou hf upload de la bibliothèque huggingface_hub pour téléverser de grands dossiers : ils divisent le téléversement en plusieurs commits et reprennent automatiquement en cas d’interruption.

Voir comment téléverser un grand dossier, les astuces et conseils pour les téléversements volumineux et les limites et recommandations de stockage du dépôt.

Update on GitHub