Hub documentation
๐ค Datasets ์ฌ์ฉ
๐ค Datasets ์ฌ์ฉ
Hugging Face Hub์์ ํฅ๋ฏธ๋ก์ด ๋ฐ์ดํฐ์ ์ ์ฐพ์๋ค๋ฉด, ๐ค Datasets๋ฅผ ์ฌ์ฉํ์ฌ ํด๋น ๋ฐ์ดํฐ์ ์ ๋ก๋ํ ์ ์์ต๋๋ค. ์ด ๋ฐ์ดํฐ์ ์ฌ์ฉ ๋ฒํผ์ ํด๋ฆญํ๋ฉด ๋ฐ์ดํฐ์ ์ ๋ก๋ํ๋ ์ฝ๋๊ฐ ๋ณต์ฌ๋ฉ๋๋ค.
๋จผ์ Hugging Face ๊ณ์ ์ผ๋ก ๋ก๊ทธ์ธํด์ผ ํฉ๋๋ค. ์๋ฅผ ๋ค์ด ๋ค์์ ์ฌ์ฉํ ์ ์์ต๋๋ค:
hf auth login๊ทธ ํ Hugging Face Hub์์ load_dataset๋ฅผ ์ฌ์ฉํ์ฌ ๋ฐ์ดํฐ์ ์ ๋ก๋ํ ์ ์์ต๋๋ค
from datasets import load_dataset
dataset = load_dataset("username/my_dataset")
# or load the separate splits if the dataset has train/validation/test splits
train_dataset = load_dataset("username/my_dataset", split="train")
valid_dataset = load_dataset("username/my_dataset", split="validation")
test_dataset = load_dataset("username/my_dataset", split="test")Hugging Face Hub์ ๋ฐ์ดํฐ์ ์ ์ ๋ก๋ํ ์๋ ์์ต๋๋ค:
my_new_dataset.push_to_hub("username/my_new_dataset")์ด ์์
์ ๋์ค์ ๋ค์ ๋ก๋ํ ์ ์๋ Parquet ํ์์ Dataset์ ํฌํจํ๋ ๋ฐ์ดํฐ์
์ ์ฅ์ username/my_new_dataset๋ฅผ ์์ฑํฉ๋๋ค.
๐ค Datasets ์ฌ์ฉ์ ๋ํ ์์ธํ ๋ด์ฉ์ ๐ค Datasets ๋ฌธ์์์ ์ ๊ณตํ๋ ํํ ๋ฆฌ์ผ๊ณผ ๊ฐ์ด๋๋ฅผ ์ฐธ๊ณ ํ์ธ์.
Update on GitHub