Hub'dan bir veri seti yükleyin

Yeniden üretilebilir ve erişilebilir yüksek kaliteli veri setlerini bulmak zor olabilir. 🤗 Datasets'in ana hedeflerinden biri, herhangi bir biçim veya türdeki veri setini yüklemenin basit bir yolunu sağlamaktır. Başlamanın en kolay yolu, NLP, bilgisayarla görü ve ses görevleri için veri setlerinden oluşan topluluk odaklı bir koleksiyon olan Hugging Face Hub'da mevcut bir veri setini keşfetmek ve 🤗 Datasets kullanarak veri setini indirmek ve oluşturmak olacaktır.

Bu eğitimde rotten_tomatoes ve MInDS-14 veri kümeleri kullanılmaktadır, ancak istediğiniz herhangi bir veri kümesini yükleyip devam etmekte serbestsiniz. Göreviniz için bir veri kümesi bulmak üzere şimdi Hub'a gidin!

Bir veri seti yükle

Bir veri setini indirmek için zaman ayırmadan önce, veri seti hakkında genel bazı bilgilere hızlıca sahip olmak genellikle faydalıdır. Bir veri setinin bilgileri DatasetInfo içinde saklanır ve veri seti açıklaması, özellikler ve veri seti boyutu gibi bilgileri içerebilir.

Bir veri seti oluşturucuyu yüklemek ve onu indirmeye başlamadan önce veri setinin özniteliklerini incelemek için load_dataset_builder() işlevini kullanın:

>>> from datasets import load_dataset_builder
>>> ds_builder = load_dataset_builder("cornell-movie-review-data/rotten_tomatoes")

# Inspect dataset description
>>> ds_builder.info.description
Movie Review Dataset. This is a dataset of containing 5,331 positive and 5,331 negative processed sentences from Rotten Tomatoes movie reviews. This data was first used in Bo Pang and Lillian Lee, ``Seeing stars: Exploiting class relationships for sentiment categorization with respect to rating scales.'', Proceedings of the ACL, 2005.

# Inspect dataset features
>>> ds_builder.info.features
{'label': ClassLabel(names=['neg', 'pos']),
 'text': Value('string')}

Veri setinden memnunsanız, load_dataset() ile yükleyin:

>>> from datasets import load_dataset

>>> dataset = load_dataset("cornell-movie-review-data/rotten_tomatoes", split="train")

Bölümler

Split, bir veri setinin train ve test gibi belirli bir alt kümesidir. Bir veri setinin split adlarını get_dataset_split_names() fonksiyonuyla listeleyin:

>>> from datasets import get_dataset_split_names

>>> get_dataset_split_names("cornell-movie-review-data/rotten_tomatoes")
['train', 'validation', 'test']

Ardından split parametresiyle belirli bir bölüme yükleyebilirsiniz. Bir veri setinin split bölümünü yüklemek bir Dataset nesnesi döndürür:

>>> from datasets import load_dataset

>>> dataset = load_dataset("cornell-movie-review-data/rotten_tomatoes", split="train")
>>> dataset
Dataset({
    features: ['text', 'label'],
    num_rows: 8530
})

split belirtmezseniz, 🤗 Datasets bir DatasetDict nesnesi döndürür:

>>> from datasets import load_dataset

>>> dataset = load_dataset("cornell-movie-review-data/rotten_tomatoes")
DatasetDict({
    train: Dataset({
        features: ['text', 'label'],
        num_rows: 8530
    })
    validation: Dataset({
        features: ['text', 'label'],
        num_rows: 1066
    })
    test: Dataset({
        features: ['text', 'label'],
        num_rows: 1066
    })
})

Yapılandırmalar

Bazı veri kümeleri birden fazla alt veri kümesi içerir. Örneğin, MInDS-14 veri kümesi, her biri farklı bir dilde ses verisi içeren birden fazla alt veri kümesine sahiptir. Bu alt veri kümeleri configurations veya subsets olarak bilinir ve veri kümesini yüklerken bunlardan birini açıkça seçmeniz gerekir. Bir yapılandırma adı belirtmezseniz, 🤗 Datasets bir ValueError oluşturur ve bir yapılandırma seçmeniz gerektiğini hatırlatır.

Veri setinizde kullanılabilir tüm olası yapılandırmaların listesini almak için get_dataset_config_names() işlevini kullanın:

>>> from datasets import get_dataset_config_names

>>> configs = get_dataset_config_names("PolyAI/minds14")
>>> print(configs)
['cs-CZ', 'de-DE', 'en-AU', 'en-GB', 'en-US', 'es-ES', 'fr-FR', 'it-IT', 'ko-KR', 'nl-NL', 'pl-PL', 'pt-PT', 'ru-RU', 'zh-CN', 'all']

Ardından yüklemek istediğiniz yapılandırmayı yükleyin:

>>> from datasets import load_dataset

>>> mindsFR = load_dataset("PolyAI/minds14", "fr-FR", split="train")