Загрузка наборов данных

Hub содержит обширную коллекцию датасетов, отобранных сообществом и предназначенных для исследований. Мы рекомендуем делиться своими датасетами на Hub, чтобы помогать развитию ML-сообщества и ускорять прогресс для всех. Мы приветствуем любые вклады; добавление датасета — это просто перетаскивание и сброс!

Для начала создайте аккаунт Hugging Face Hub, если у вас его еще нет.

Загрузка с помощью интерфейса Hub

Веб-интерфейс Hub позволяет пользователям без опыта разработки загружать набор данных.

Создать репозиторий

Репозиторий хранит все файлы вашего набора данных, включая историю ревизий, что позволяет сохранять несколько версий набора данных.

1. Нажмите на свой профиль и выберите New Dataset, чтобы создать new dataset repository.
2. Придумайте название для набора данных и определите, будет ли он публичным или частным. Публичный набор данных виден всем, а частный доступен только вам или членам вашей организации.

Загрузить набор данных

1. После создания репозитория перейдите на вкладку Files and versions, чтобы добавить файл. Выберите Add file, чтобы загрузить файлы набора данных. Мы поддерживаем множество расширений для текстовых, аудиовизуальных, графических и других данных, таких как .csv, .mp3 и .jpg (полный список File formats).

2. Перетащите файлы набора данных.

3. После загрузки файлов набора данных они сохраняются в вашем репозитории набора данных.

Создание карточки набора данных

Добавление карточки датасета имеет огромную ценность, так как помогает пользователям находить ваш датасет и понимать, как использовать его ответственно.

1. Нажмите Создать карточку набора данных, чтобы создать карточку набора данных. Эта кнопка создаёт файл README.md в вашем репозитории.

2. Вверху вы увидите Metadata UI с несколькими полями для выбора, такими как лицензия, язык и категории задач. Это самые важные теги, помогающие пользователям находить ваш датасет на Hub (если применимо). Когда вы выбираете значение для поля, оно автоматически добавляется в верхнюю часть карточки датасета.

   Вы также можете обратиться к спецификациям Dataset Card, где приведён полный набор допустимых тегов, включая необязательные, такие как annotations_creators, чтобы вы могли выбрать те, которые полезны для вашего набора данных.

3. Опишите документацию вашего набора данных в Dataset Card, чтобы представить его сообществу и помочь пользователям понять его содержимое: каковы случаи использования и ограничения, откуда взяты данные, какие этические аспекты являются важными, а также любые другие значимые детали.

   Вы можете щёлкнуть по ссылке Import dataset card template вверху редактора, чтобы автоматически создать шаблон карточки набора данных. Подробный пример того, как должна выглядеть хорошая карточка набора данных, можно найти в CNN DailyMail Dataset card.

Использование клиентской библиотеки huggingface_hub

Богатый набор функций библиотеки huggingface_hub позволяет управлять репозиториями, включая создание репозиториев и загрузку наборов данных в Hub. Подробнее см. в документации клиентской библиотеки.

Использование других библиотек

Некоторые библиотеки, такие как 🤗 Datasets, Pandas, Polars, Dask, DuckDB или Daft, позволяют загружать файлы в Hub. Список Библиотек, поддерживаемых Datasets Hub, содержит дополнительную информацию.

Использование Git

Поскольку репозитории датасетов являются Git-репозиториями, вы можете использовать Git для отправки файлов данных на Hub. Следуйте руководству Начало работы с репозиториями, чтобы узнать, как использовать CLI git для фиксации и отправки ваших датасетов.

Импорт наборов данных

Если ваши данные хранятся в базах данных, облачном хранилище или доступны через API, вы можете импортировать их в Hugging Face в виде готовых к использованию датасетов.

Подробнее о загрузке наборов данных см. в документации.

Форматы файлов

Hub нативно поддерживает несколько форматов файлов:

• Parquet (.parquet)
• CSV (.csv, .tsv)
• JSON Lines, JSON (.jsonl, .json)
• Потоковый формат Arrow и формат IPC (.arrow)
• Текст (.txt)
• Изображения (.png, .jpg и т. д.)
• Аудио (.wav, .mp3 и т. д.)
• Видео (.mp4, .mov, .avi и т. д.)
• PDF (.pdf)
• WebDataset (.tar)
• Lance (.lance)

Поддерживаются файлы, сжатые с помощью ZIP (.zip), GZIP (.gz), ZSTD (.zst), BZ2 (.bz2), LZ4 (.lz4) и LZMA (.xz).

Файлы изображений и аудио также могут иметь дополнительные файлы метаданных. См. раздел Конфигурация файлов данных для наборов данных изображений и аудио, а также подборки примеров наборов данных для CSV, TSV и изображений.

Возможно, вам стоит преобразовать файлы в эти форматы, чтобы воспользоваться всеми возможностями Hub. Другие форматы и структуры могут не распознаваться Hub.

В каком формате файла следует использовать?

Для большинства типов наборов данных рекомендуемым форматом является Parquet благодаря эффективному сжатию, богатой типизации и тому, что множество инструментов поддерживает этот формат с оптимизированным чтением и пакетными операциями. В качестве альтернативы для табличных данных можно использовать CSV или JSON Lines/JSON (для вложенных данных предпочтительнее JSON Lines). Хотя эти форматы проще парсить по сравнению с Parquet, они не рекомендуются для данных размером более нескольких ГБ. Для наборов данных с изображениями и аудио загрузка исходных файлов является наиболее практичным решением в большинстве случаев, так как к отдельным файлам легко получить доступ. Для потоковой обработки (streaming) больших наборов данных с изображениями и аудио предпочтительнее использовать WebDataset, а не исходные файлы изображений и аудио, чтобы избежать накладных расходов на доступ к отдельным файлам. Однако для более общих сценариев, включающих аналитику, фильтрацию данных или парсинг метаданных, Parquet является рекомендуемым вариантом для больших наборов данных с изображениями и аудио.

Data Studio

Data Studio позволяет увидеть, как на самом деле выглядят данные, до их загрузки. Он включён по умолчанию для всех публичных наборов данных. Он также доступен для частных наборов данных, принадлежащих пользователю PRO или организации Team или Enterprise.

После загрузки набора данных убедитесь, что Dataset Viewer корректно отображает ваши данные, или настройте Dataset Viewer.

Наборы данных большого масштаба

Hugging Face Hub поддерживает наборы данных большого объёма, как правило, загружаемые в формате Parquet (например, с помощью push_to_hub() в 🤗 Datasets) или WebDataset.

Используйте upload_folder() или hf upload из библиотеки huggingface_hub для загрузки больших папок: они делят загрузку на несколько коммитов и автоматически возобновляют процесс при прерывании.

См. как загрузить большую папку, советы и приёмы для больших загрузок и лимиты и рекомендации по хранению в репозитории.

Update on GitHub