Hub에 데이터셋 공유하기

Hub에는 커뮤니티가 큐레이션한 인기 연구 데이터셋이 방대하게 수집되어 있습니다. ML 커뮤니티의 성장과 모든 사용자의 진전을 가속화하기 위해, 데이터셋을 Hub에 공유해 주시기를 권장합니다. 모든 기여를 환영하며, 데이터셋을 추가하는 것은 드래그 앤 드롭만으로 가능합니다!

아직 계정이 없다면 Hugging Face Hub 계정을 생성하는 것부터 시작하세요.

Hub UI로 업로드

Hub의 웹 기반 인터페이스를 사용하면 개발 경험이 없는 사용자도 데이터셋을 업로드할 수 있습니다.

리포지토리 생성

레포지토리는 리비전 히스토리를 포함하여 모든 데이터셋 파일을 호스팅하므로, 데이터셋의 여러 버전을 저장할 수 있습니다.

1. 프로필을 클릭하고 New Dataset을 선택하여 새로운 데이터셋 저장소를 생성합니다.
2. 데이터셋 이름을 지정하고 공개 데이터셋인지 비공개 데이터셋인지 선택합니다. 공개 데이터셋은 누구나 볼 수 있지만, 비공개 데이터셋은 사용자 본인 또는 조직의 구성원만 볼 수 있습니다.

데이터셋 업로드

1. Once you’ve created a repository, navigate to the Files and versions tab to add a file. Select Add file to upload your dataset files. We support many text, audio, and image data extensions such as .csv, .mp3, and .jpg among many others. For text data extensions like .csv, .json, .jsonl, and .txt, we recommend compressing them before uploading to the Hub (to .zip or .gz file extension for example).

   텍스트 파일 확장자는 기본적으로 Git LFS에서 추적되지 않으며, 크기가 10MB를 초과하면 커밋 및 업로드되지 않습니다. 추적 대상 파일 확장자의 전체 목록은 저장소의 .gitattributes 파일을 확인하세요. 이 튜토리얼에서는 크기가 작으므로 다음 샘플 .csv 파일을 사용할 수 있습니다: train.csv, test.csv.

2. 데이터셋 파일을 드래그 앤 드롭하고 간단한 설명이 포함된 커밋 메시지를 추가하세요.

3. 데이터셋 파일을 업로드하면 해당 파일은 데이터셋 저장소에 저장됩니다.

Dataset 카드 만들기

Dataset 카드를 추가하는 것은 사용자가 해당 dataset을 쉽게 찾고 책임감 있게 사용할 수 있도록 하는 데 매우 유용합니다.

1. Dataset Card 만들기를 클릭하여 Dataset 카드를 만듭니다. 이 버튼은 저장소에 README.md 파일을 생성합니다.

2. 상단에는 Metadata UI가 있으며, license, language, task categories 등 여러 필드를 선택할 수 있습니다. 이러한 태그는 사용자가 Hub에서 데이터셋을 발견하는 데 가장 중요합니다. 각 필드에서 옵션을 선택하면 데이터셋 카드 상단에 자동으로 추가됩니다.

   적절한 태그를 선택하는 데 도움이 되는 Dataset Card specifications를 참고할 수도 있습니다. 여기에는 annotations_creators와 같이 필수 사항은 아니지만 완전한 태그 옵션 세트가 포함되어 있습니다.

3. 에디터 상단의 Import dataset card template 링크를 클릭하면 데이터셋 카드 템플릿이 자동으로 생성됩니다. 템플릿을 작성하는 것은 커뮤니티에 데이터셋을 소개하고 사용자가 어떻게 사용할 수 있는지 이해하는 데 도움이 되는 좋은 방법입니다. 좋은 Dataset card의 예시를 자세히 보려면 CNN DailyMail Dataset card를 참고하세요.

데이터셋 로드

데이터셋이 Hub에 저장되면 누구나 load_dataset() 함수로 로드할 수 있습니다:

>>> from datasets import load_dataset

>>> dataset = load_dataset("stevhliu/demo")

Python으로 업로드

프로그램을 통해 데이터셋을 업로드하는 것을 선호하는 사용자는 huggingface_hub 라이브러리를 사용할 수 있습니다. 이 라이브러리를 사용하면 Python에서 Hub와 상호작용할 수 있습니다.

1. 라이브러리를 설치하는 것으로 시작합니다:

pip install huggingface_hub

2. Python에서 Hub에 데이터셋을 업로드하려면 Hugging Face 계정에 로그인해야 합니다:

hf auth login

3. push_to_hub() 함수를 사용하여 파일을 저장소에 추가하고 커밋한 후 푸시하세요:

>>> from datasets import load_dataset

>>> dataset = load_dataset("stevhliu/demo")
# dataset = dataset.map(...)  # do all your processing here
>>> dataset.push_to_hub("stevhliu/processed_demo")

데이터셋을 비공개로 설정하려면 private 매개변수를 True로 설정하세요. 이 매개변수는 저장소를 처음 생성할 때만 작동합니다.

>>> dataset.push_to_hub("stevhliu/private_processed_demo", private=True)

새로운 구성(또는 부분 집합)을 데이터셋에 추가하거나 새로운 분할(train/validation/test)을 추가하려면 Dataset.push_to_hub() 문서를 참조하세요.

개인정보

비공개 데이터셋은 사용자 본인만 접근할 수 있습니다. 마찬가지로 조직 내에서 데이터셋을 공유하면, 해당 조직의 구성원도 데이터셋에 접근할 수 있습니다.

token 매개변수에 인증 토큰을 제공하여 비공개 데이터셋을 로드합니다:

>>> from datasets import load_dataset

# Load a private individual dataset
>>> dataset = load_dataset("stevhliu/demo", token=True)

# Load a private organization dataset
>>> dataset = load_dataset("organization/dataset_name", token=True)

다음 단계는 무엇인가요?

축하합니다, 튜토리얼을 완료했습니다! 🥳

여기서 다음으로 진행할 수 있습니다:

• 🤗 Datasets의 다른 함수를 사용하여 데이터셋을 처리하는 방법에 대해 자세히 알아보세요.
• 대형 데이터셋을 스트리밍하여 로컬로 다운로드하지 않습니다.
• 데이터셋 분할 및 구성을 정의하고 커뮤니티와 데이터셋을 공유하세요.

🤗 Datasets에 대한 질문이 있으시면 포럼에 참여하여 커뮤니티에 질문해 주세요.