Создание карточки набора данных

Каждый набор данных должен иметь карточку набора данных (dataset card), чтобы содействовать ответственному использованию и информировать пользователей о возможных предвзятостях в данных. Эта идея была вдохновлена карточками моделей (Model Cards), предложенными Mitchell, 2018. Карточки наборов данных помогают пользователям понять содержимое набора данных, контекст его использования, способ создания, а также другие аспекты, о которых следует знать.

Создание карточки набора данных — это просто, и для этого достаточно выполнить несколько шагов:

1. Перейдите в репозиторий вашего набора данных на Hub и нажмите Create Dataset Card, чтобы создать новый файл README.md в вашем репозитории.

2. Используйте Metadata UI, чтобы выбрать теги, описывающие ваш набор данных. Вы можете добавить лицензию, язык, pretty_name, task_categories, size_categories и любые другие теги, которые считаете релевантными. Эти теги помогают пользователям находить и открывать ваш набор данных на Hub.

Полный, хотя и не обязательный, набор вариантов тегов можно также найти в спецификации карточки набора данных. Там есть несколько дополнительных вариантов тегов, таких как multilinguality и language_creators, которые полезны, но не являются абсолютно необходимыми.

3. Нажмите на ссылку Import dataset card template, чтобы автоматически создать шаблон со всеми необходимыми полями для заполнения. Заполните разделы шаблона по мере возможности. Более подробную информацию о том, что следует указать в каждом разделе карточки, вы найдёте в Dataset Card Creation Guide. Для полей, которые вы не можете заполнить, можно указать [More Information Needed].

4. Когда вы закончите, зафиксируйте изменения в файле README.md, и вы увидите завершённую карточку набора данных в вашем репозитории.

YAML также позволяет настраивать способ загрузки набора данных, определяя разбиения и/или конфигурации, без необходимости писать код.

Вы можете ознакомиться с карточками датасетов SNLI, CNN/DailyMail и Allociné в качестве примеров, чтобы начать работу.

Update on GitHub