Muat dataset dari Hub

Menemukan dataset berkualitas tinggi yang dapat direproduksi dan mudah diakses bisa menjadi sulit. Salah satu tujuan utama 🤗 Datasets adalah menyediakan cara sederhana untuk memuat dataset dalam format atau tipe apa pun. Cara termudah untuk memulai adalah dengan menemukan dataset yang sudah ada di Hugging Face Hub - kumpulan dataset yang didorong oleh komunitas untuk tugas-tugas dalam NLP, computer vision, dan audio - lalu menggunakan 🤗 Datasets untuk mengunduh dan menghasilkan dataset tersebut.

Tutorial ini menggunakan dataset rotten_tomatoes dan MInDS-14, tetapi silakan muat dataset apa pun yang Anda inginkan dan ikuti langkah-langkahnya. Kunjungi Hub sekarang dan cari dataset untuk tugas Anda!

Muat dataset

Sebelum Anda meluangkan waktu untuk mengunduh dataset, sering kali berguna untuk dengan cepat mendapatkan informasi umum tentang dataset tersebut. Informasi dataset disimpan di dalam DatasetInfo dan dapat mencakup informasi seperti deskripsi dataset, fitur, dan ukuran dataset.

Gunakan fungsi load_dataset_builder() untuk memuat pembangun dataset dan memeriksa atribut dataset tanpa harus mengunduhnya:

>>> from datasets import load_dataset_builder
>>> ds_builder = load_dataset_builder("cornell-movie-review-data/rotten_tomatoes")

# Inspect dataset description
>>> ds_builder.info.description
Movie Review Dataset. This is a dataset of containing 5,331 positive and 5,331 negative processed sentences from Rotten Tomatoes movie reviews. This data was first used in Bo Pang and Lillian Lee, ``Seeing stars: Exploiting class relationships for sentiment categorization with respect to rating scales.'', Proceedings of the ACL, 2005.

# Inspect dataset features
>>> ds_builder.info.features
{'label': ClassLabel(names=['neg', 'pos']),
 'text': Value('string')}

Jika Anda puas dengan dataset, muatlah dengan load_dataset():

>>> from datasets import load_dataset

>>> dataset = load_dataset("cornell-movie-review-data/rotten_tomatoes", split="train")

Pembagian

Split adalah subset tertentu dari dataset seperti train dan test. Daftarkan nama-nama split dataset dengan fungsi get_dataset_split_names():

>>> from datasets import get_dataset_split_names

>>> get_dataset_split_names("cornell-movie-review-data/rotten_tomatoes")
['train', 'validation', 'test']

Lalu Anda dapat memuat split tertentu dengan parameter split. Memuat split dataset mengembalikan objek Dataset:

>>> from datasets import load_dataset

>>> dataset = load_dataset("cornell-movie-review-data/rotten_tomatoes", split="train")
>>> dataset
Dataset({
    features: ['text', 'label'],
    num_rows: 8530
})

Jika Anda tidak menentukan split, 🤗 Datasets mengembalikan objek DatasetDict sebagai gantinya:

>>> from datasets import load_dataset

>>> dataset = load_dataset("cornell-movie-review-data/rotten_tomatoes")
DatasetDict({
    train: Dataset({
        features: ['text', 'label'],
        num_rows: 8530
    })
    validation: Dataset({
        features: ['text', 'label'],
        num_rows: 1066
    })
    test: Dataset({
        features: ['text', 'label'],
        num_rows: 1066
    })
})

Konfigurasi

Beberapa dataset berisi beberapa sub-dataset. Misalnya, dataset MInDS-14 memiliki beberapa sub-dataset, masing-masing berisi data audio dalam bahasa yang berbeda. Sub-dataset ini dikenal sebagai configurations atau subsets, dan Anda harus secara eksplisit memilih salah satunya saat memuat dataset. Jika Anda tidak memberikan nama konfigurasi, 🤗 Datasets akan melempar ValueError dan mengingatkan Anda untuk memilih konfigurasi.

Gunakan fungsi get_dataset_config_names() untuk mengambil daftar semua konfigurasi yang tersedia untuk dataset Anda:

>>> from datasets import get_dataset_config_names

>>> configs = get_dataset_config_names("PolyAI/minds14")
>>> print(configs)
['cs-CZ', 'de-DE', 'en-AU', 'en-GB', 'en-US', 'es-ES', 'fr-FR', 'it-IT', 'ko-KR', 'nl-NL', 'pl-PL', 'pt-PT', 'ru-RU', 'zh-CN', 'all']

Lalu muat konfigurasi yang Anda inginkan:

>>> from datasets import load_dataset

>>> mindsFR = load_dataset("PolyAI/minds14", "fr-FR", split="train")