Datasets documentation

Oluşturucu sınıfları

Datasets

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v4.8.4).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Oluşturucu sınıfları

Oluşturucular

🤗 Datasets, veri seti oluşturma sürecinde iki ana sınıfa dayanır: DatasetBuilder ve BuilderConfig.

sınıf datasets.DatasetBuilder

< source >

( cache_dir: typing.Optional[str] = Nonedataset_name: typing.Optional[str] = Noneconfig_name: typing.Optional[str] = Nonehash: typing.Optional[str] = Nonebase_path: typing.Optional[str] = Noneinfo: typing.Optional[datasets.info.DatasetInfo] = Nonefeatures: typing.Optional[datasets.features.features.Features] = Nonetoken: typing.Union[bool, str, NoneType] = Nonerepo_id: typing.Optional[str] = Nonedata_files: typing.Union[str, list, dict, datasets.data_files.DataFilesDict, NoneType] = Nonedata_dir: typing.Optional[str] = Nonestorage_options: typing.Optional[dict] = Nonewriter_batch_size: typing.Optional[int] = Noneconfig_id: typing.Optional[str] = None**config_kwargs )

Parametreler

cache_dir (str, isteğe bağlı) — Verilerin önbelleğe alınacağı dizin. Varsayılan olarak "~/.cache/huggingface/datasets" kullanılır.
dataset_name (str, isteğe bağlı) — Veri setinin adı, oluşturucu adından farklıysa. csv, imagefolder, audiofolder gibi paketli oluşturucular için, aynı paketli oluşturucuyu kullanan veri setleri arasındaki farkı yansıtmak üzere kullanışlıdır.
config_name (str, isteğe bağlı) — Veri seti yapılandırmasının adı. Diskte oluşturulan verileri etkiler. Farklı yapılandırmaların kendi alt dizinleri ve sürümleri olur. Belirtilmezse, varsayılan yapılandırma kullanılır (varsa).

2.3.0 sürümünde eklendi

name parametresi config_name olarak yeniden adlandırıldı.
hash (str, isteğe bağlı) — Veri seti oluşturucu koduna özgü hash. Veri seti oluşturucu kodu güncellendiğinde önbellek dizininin güncellenmesi için kullanılır (eski verilerin yeniden kullanılmasını önlemek için). Tipik önbellek dizini (self._relative_data_dir içinde tanımlanır) name/version/hash/'dir.
base_path (str, isteğe bağlı) — İndirilecek dosyalar için kullanılan göreli yolların temel yolu. Bu, uzak bir URL olabilir.
features (Features, isteğe bağlı) — Bu veri setiyle kullanılacak Features türleri. Örneğin, bir veri setinin Features türlerini değiştirmek için kullanılabilir.
token (str veya bool, isteğe bağlı) — Datasets Hub'daki uzak dosyalar için Bearer token olarak kullanılacak dize veya boole. True ise, token "~/.huggingface" konumundan alınır.
repo_id (str, isteğe bağlı) — Veri seti deposunun kimliği. Aynı adı taşıyan ancak aynı ad alanından gelmeyen oluşturucuları ayırt etmek için kullanılır, örneğin “rajpurkar/squad” ve “lhoestq/squad” depo kimlikleri. İkincisinde oluşturucu adı “lhoestq___squad” olur.
data_files (str veya Sequence veya Mapping, isteğe bağlı) — Kaynak veri dosyası/dosyalarının yolu/yolları. Kullanıcının veri dosyalarını belirtmesi gereken “csv” veya “json” gibi oluşturucular için. Bunlar yerel veya uzak dosyalar olabilir. Kolaylık için DataFilesDict kullanabilirsiniz.
data_dir (str, isteğe bağlı) — Kaynak veri dosyası(lar)ını içeren dizinin yolu. Yalnızca data_files geçirilmediğinde kullanın; bu durumda data_files olarak os.path.join(data_dir, "**") geçirmekle eşdeğerdir. Manuel indirme gerektiren derleyiciler için, manuel olarak indirilen verileri içeren yerel dizinin yolu olmalıdır.
storage_options (dict, isteğe bağlı) — Varsa, veri seti dosya sistemi arka ucuna iletilecek anahtar/değer çiftleri.
writer_batch_size (int, isteğe bağlı) — ArrowWriter tarafından kullanılan batch boyutu. Yazılmadan önce bellekte tutulan örnek sayısını ve arrow chunk'larının uzunluğunu tanımlar. None, ArrowWriter'ın varsayılan değerini kullanacağı anlamına gelir.
**config_kwargs (ek anahtar kelime argümanları) — DatasetBuilder.BUILDER_CONFIG_CLASS sınıf özniteliğinde ayarlanan, ilgili oluşturucu yapılandırma sınıfına iletilecek anahtar kelime argümanları. Oluşturucu yapılandırma sınıfı BuilderConfig veya bunun bir alt sınıfıdır.

Tüm veri kümeleri için soyut temel sınıf.

DatasetBuilder 3 ana metoda sahiptir:

DatasetBuilder.info: Özellik adları, türleri, şekilleri, sürüm, bölümler, atıf vb. dahil olmak üzere veri setini belgeleyen yapı.
DatasetBuilder.download_and_prepare(): Kaynak verileri indirir ve diske yazar.
DatasetBuilder.as_dataset(): Bir Dataset oluşturur.

Bazı DatasetBuilder sınıfları, bir BuilderConfig alt sınıfı tanımlayarak ve inşada bir yapılandırma nesnesini (veya adını) kabul ederek veri setinin birden fazla varyantını sunar. Yapılandırılabilir veri setleri, DatasetBuilder.builder_configs() içinde önceden tanımlanmış bir yapılandırma setini açığa çıkarır.

as_dataset

< source >

( split: typing.Union[str, datasets.splits.Split, list[str], list[datasets.splits.Split], NoneType] = Nonein_memory = False )

Parametreler

split (datasets.Split) — Dönülecek veri alt kümesi.
verification_mode (VerificationMode veya str, varsayılan olarak BASIC_CHECKS) — İndirilen/işlenen veri seti bilgileri üzerinde (karma değerleri/boyut/bölümler/…) çalıştırılacak denetimleri belirleyen doğrulama modu.

2.9.1 sürümünde eklendi
in_memory (bool, varsayılan False) — Verilerin bellek içine kopyalanıp kopyalanmayacağı.

Belirtilen bölme için bir Dataset döndürür.

Örnek:

>>> from datasets import load_dataset_builder
>>> builder = load_dataset_builder('cornell-movie-review-data/rotten_tomatoes')
>>> builder.download_and_prepare()
>>> ds = builder.as_dataset(split='train')
>>> ds
Dataset({
    features: ['text', 'label'],
    num_rows: 8530
})

download_and_prepare

< source >

( output_dir: typing.Optional[str] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonedownload_mode: typing.Union[datasets.download.download_manager.DownloadMode, str, NoneType] = Noneverification_mode: typing.Union[datasets.utils.info_utils.VerificationMode, str, NoneType] = Nonedl_manager: typing.Optional[datasets.download.download_manager.DownloadManager] = Nonebase_path: typing.Optional[str] = Nonefile_format: str = 'arrow'max_shard_size: typing.Union[str, int, NoneType] = Nonenum_proc: typing.Optional[int] = Nonestorage_options: typing.Optional[dict] = None**download_and_prepare_kwargs )

Parametreler

output_dir (str, isteğe bağlı) — Veri seti için çıktı dizini. Varsayılan olarak bu oluşturucunun cache_dir, içindeki ~/.cache/huggingface/datasets değeri kullanılır.

2.5.0 sürümünde eklendi
download_config (DownloadConfig, isteğe bağlı) — Belirli indirme yapılandırma parametreleri.
download_mode (DownloadMode veya str, isteğe bağlı) — İndirme/üretim modunu seçer, varsayılan olarak REUSE_DATASET_IF_EXISTS kullanılır.
verification_mode (VerificationMode veya str, varsayılan olarak BASIC_CHECKS) — İndirilen/işlenen veri seti bilgileri üzerinde (karma değerleri/boyut/bölümler/…) çalıştırılacak denetimleri belirleyen doğrulama modu.

2.9.1 sürümünde eklendi
dl_manager (DownloadManager, isteğe bağlı) — Kullanılacak belirli DownloadManger.
base_path (str, isteğe bağlı) — İndirilecek dosyalar için kullanılan göreli yolların temel yolu. Bu, uzak bir URL olabilir. Belirtilmezse, bunun yerine base_path özniteliğinin (self.base_path) değeri kullanılır.
file_format (str, isteğe bağlı) — Veri setinin yazılacağı veri dosyalarının biçimi. Desteklenen biçimler: “arrow”, “parquet”. Varsayılan olarak “arrow” biçimi kullanılır. Biçim “parquet” ise, görüntü ve ses verileri yerel dosyalara işaret etmek yerine Parquet dosyalarına gömülür.

2.5.0 sürümünde eklendi
max_shard_size (Union[str, int], isteğe bağlı) — Her shard için yazılan maksimum bayt sayısı, varsayılan değer “500MB”. Boyut, sıkıştırılmamış veri boyutuna dayanır, bu nedenle shard dosyalarınız pratikte max_shard_size örneğin Parquet sıkıştırması sayesinde

2.5.0 sürümünde eklendi
num_proc (int, isteğe bağlı, varsayılan olarak None) — Veri setini indirirken ve yerel olarak oluştururken kullanılacak süreç sayısı. Çok işlemcili (multiprocessing) varsayılan olarak devre dışıdır.

2.7.0 sürümünde eklendi
storage_options (dict, isteğe bağlı) — Varsa, önbelleğe alma dosya sistemi arka ucuna iletilecek anahtar/değer çiftleri.

2.5.0 sürümünde eklendi
**download_and_prepare_kwargs (ek anahtar kelime argümanları) — Anahtar kelime argümanları.

Veri setini okumak için indirir ve hazırlar.

Örnek:

builder.as_dataset() ile bir Dataset olarak yüklenebilecek Arrow dosyaları olarak veri setini indirin ve hazırlayın:

>>> from datasets import load_dataset_builder
>>> builder = load_dataset_builder("cornell-movie-review-data/rotten_tomatoes")
>>> builder.download_and_prepare()

Veri setini yerel olarak parçalı Parquet dosyaları olarak indirin ve hazırlayın:

>>> from datasets import load_dataset_builder
>>> builder = load_dataset_builder("cornell-movie-review-data/rotten_tomatoes")
>>> builder.download_and_prepare("./output_dir", file_format="parquet")

Veri setini indirin ve bulut depolamada parçalı Parquet dosyaları olarak hazırlayın:

>>> from datasets import load_dataset_builder
>>> storage_options = {"key": aws_access_key_id, "secret": aws_secret_access_key}
>>> builder = load_dataset_builder("cornell-movie-review-data/rotten_tomatoes")
>>> builder.download_and_prepare("s3://my-bucket/my_rotten_tomatoes", storage_options=storage_options, file_format="parquet")

get_imported_module_dir

< source >

( )

Bu sınıfın veya alt sınıfının modülünün yolunu döndürür.

sınıf datasets.GeneratorBasedBuilder

< source >

dict üreticilerine dayalı veri üretimine sahip veri setleri için temel sınıf.

GeneratorBasedBuilder, DatasetBuilder veri yazma ve okuma işlemlerinin büyük bir kısmını soyutlayan bir kolaylık sınıfıdır. Alt sınıflardan, veri seti bölümleri boyunca özellik sözlüklerinin üreteçlerini (_split_generators) uygulaması beklenir. Ayrıntılar için yöntem dokümantasyonlarına bakın.

sınıf datasets.ArrowBasedBuilder

< source >

Arrow yükleme işlevlerine (CSV/JSON/Parquet) dayalı veri üretimi içeren veri kümeleri için temel sınıf.

sınıf datasets.BuilderConfig

< source >

( name: str = 'default'version: typing.Union[datasets.utils.version.Version, str, NoneType] = 0.0.0data_dir: typing.Optional[str] = Nonedata_files: typing.Union[datasets.data_files.DataFilesDict, datasets.data_files.DataFilesPatternsDict, NoneType] = Nonedescription: typing.Optional[str] = None )

Parametreler

name (str, varsayılan default) — Yapılandırmanın adı.
version (Version veya str, varsayılan 0.0.0) — Yapılandırmanın sürümü.
data_dir (str, isteğe bağlı) — Kaynak verileri içeren dizinin yolu.
data_files (str veya Sequence veya Mapping, isteğe bağlı) — Kaynak veri dosyası/dosyalarının yolu/yolları.
description (str, isteğe bağlı) — Yapılandırmanın insan tarafından yazılmış açıklaması.

DatasetBuilder veri yapılandırması için temel sınıf.

Veri yapılandırma seçenekleri olan DatasetBuilder alt sınıfları, BuilderConfig sınıfından türetmeli ve kendi özelliklerini eklemelidir.

create_config_id

< source >

( config_kwargs: dictcustom_features: typing.Optional[datasets.features.features.Features] = None )

Config kimliği, önbellek dizinini oluşturmak için kullanılır. Varsayılan olarak config adıyla aynıdır. Ancak oluşturulan veri seti için benzersiz bir tanımlayıcıya sahip olmak için bir config'in adı yeterli değildir, çünkü şunları dikkate almaz:

özellikleri geçersiz kılmak için kullanılabilecek yapılandırma anahtar kelime argümanları
veri setini yazmak için kullanılan özel özellikler
json/text/csv/pandas veri kümeleri için data_files

Dolayısıyla yapılandırma kimliği, bunlara dayalı isteğe bağlı bir son ek ile birlikte yalnızca yapılandırma adından oluşur.

İndir

sınıf datasets.DownloadManager

< source >

( dataset_name: typing.Optional[str] = Nonedata_dir: typing.Optional[str] = Nonedownload_config: typing.Optional[datasets.download.download_config.DownloadConfig] = Nonebase_path: typing.Optional[str] = Nonerecord_checksums = False )

indir

< source >

( url_or_urls ) → str or list or dict

Parametreler

url_or_urls (str veya list veya dict) — İndirilecek URL veya URL'lerin list veya dict yapısı. Her URL bir str'dir.

Dönüş değeri

str veya list veya dict

Verilen url_or_urls girdisiyle eşleşen indirilen yollar.

Verilen URL(ler) indirilir.

Varsayılan olarak indirme için yalnızca bir süreç kullanılır. Bu davranışı değiştirmek için özelleştirilmiş download_config.num_proc değerini iletin.

Örnek:

>>> downloaded_files = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')

download_and_extract

< source >

( url_or_urls ) → extracted_path(s)

Parametreler

url_or_urls (str veya list veya dict) — İndirilecek ve çıkarılacak URL veya URL'lerin list veya dict yapısı. Her URL bir str'dir.

Dönüş değeri

extracted_path(s)

str, verilen URL(ler)in çıkarılmış yolları.

Verilen url_or_urls adreslerini indirin ve çıkarın.

Yaklaşık olarak şuna eşdeğerdir:

extracted_paths = dl_manager.extract(dl_manager.download(url_or_urls))

extract

< source >

( path_or_paths ) → extracted_path(s)

Parametreler

path_or_paths (path veya list veya dict) — Çıkarılacak dosyanın yolu. Her yol bir str'dir.

Dönüş değeri

extracted_path(s)

str, Verilen girdiyle eşleşen çıkarılan yollar path_or_paths.

Verilen yol(lar)ı çıkar.

Örnek:

>>> downloaded_files = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')
>>> extracted_files = dl_manager.extract(downloaded_files)

iter_archive

< source >

( path_or_buf: typing.Union[str, _io.BufferedReader] ) → tuple[str, io.BufferedReader]

Parametreler

path_or_buf (str veya io.BufferedReader) — Arşiv yolu veya arşiv ikili dosya nesnesi.

Üretir

tuple[str, io.BufferedReader]

2-tuple (path_within_archive, file_object). Dosya nesnesi ikili modda açılır.

Arşiv içindeki dosyalar üzerinde yineleme yapın.

Örnek:

>>> archive = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')
>>> files = dl_manager.iter_archive(archive)

iter_files

< source >

( paths: typing.Union[str, list[str]] ) → str

Parametreler

paths (str veya str içeren list) — Kök yollar.

Üretir

str

Dosya yolu.

Dosya yollarının üzerinden yineleyin.

Örnek:

>>> files = dl_manager.download_and_extract('https://huggingface.co/datasets/AI-Lab-Makerere/beans/resolve/main/data/train.zip')
>>> files = dl_manager.iter_files(files)

sınıf datasets.StreamingDownloadManager

< source >

Olası uzak sıkıştırılmış arşivler içinde gezinmek için ”::” ayıracını kullanan indirme yöneticisi. Düzenli DownloadManager'ın aksine, download ve extract yöntemleri verileri gerçekten indirmiyor veya çıkarmıyor; bunun yerine, uzak dosyalardan veri akışını sağlamak için yerleşik open işlevini genişleten xopen işleviyle açılabilen yolu veya URL'yi döndürüyor.

indir

< source >

( url_or_urls ) → url(s)

Parametreler

url_or_urls (str veya list veya dict) — Veri akışı alınacak dosyaların URL'leri. Her url bir str'dir.

Dönüş değeri

url(lar)

(str veya list veya dict), verilen input url_or_urls ile eşleşen verilerin akışını sağlayacak URL(ler).

Veri akışının yapılacağı dosyaların URL'lerini normalize edin. Bu, akış için DownloadManager.download'ın tembel (lazy) versiyonudur.

Örnek:

>>> downloaded_files = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')

download_and_extract

< source >

( url_or_urls ) → url(s)

Parametreler

url_or_urls (str veya list veya dict) — Verilerin akışının sağlanacağı URL(ler). Her url bir str'dir.

Dönüş değeri

url(lar)

(str veya list veya dict), verilen url_or_urls girdisiyle eşleşen, verinin akışının sağlanacağı URL(ler).

Verilen url_or_urls değerlerini akış için hazırlayın (çıkarma protokolü ekleyin).

Bu, DownloadManager.download_and_extract'in akış için tembel sürümüdür.

Şuna eşdeğerdir:

urls = dl_manager.extract(dl_manager.download(url_or_urls))

extract

< source >

( url_or_urls ) → url(s)

Parametreler

url_or_urls (str veya list veya dict) — Veri akışı alınacak dosyaların URL'leri. Her url bir str'dir.

Dönüş değeri

url(lar)

(str veya list veya dict), verilen url_or_urls girdisiyle eşleşen, verinin akışının sağlanacağı URL(ler).

Akış için verilen url(ler) için çıkarma protokolü ekleyin.

Bu, DownloadManager.extract'in akış için tembel sürümüdür.

Örnek:

>>> downloaded_files = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')
>>> extracted_files = dl_manager.extract(downloaded_files)

iter_archive

< source >

( urlpath_or_buf: typing.Union[str, _io.BufferedReader] ) → tuple[str, io.BufferedReader]

Parametreler

urlpath_or_buf (str veya io.BufferedReader) — Arşiv yolu veya arşiv ikili dosya nesnesi.

Üretir

tuple[str, io.BufferedReader]

2-tuple (path_within_archive, file_object). Dosya nesnesi ikili modda açılır.

Arşiv içindeki dosyalar üzerinde yineleme yapın.

Örnek:

>>> archive = dl_manager.download('https://storage.googleapis.com/seldon-datasets/sentence_polarity_v1/rt-polaritydata.tar.gz')
>>> files = dl_manager.iter_archive(archive)

iter_files

< source >

( urlpaths: typing.Union[str, list[str]] ) → str

Parametreler

urlpaths (str veya str içeren list) — Kök yollar.

Üretir

str

Dosya URL yolu.

Dosyalar üzerinde yineleme yapın.

Örnek:

>>> files = dl_manager.download_and_extract('https://huggingface.co/datasets/AI-Lab-Makerere/beans/resolve/main/data/train.zip')
>>> files = dl_manager.iter_files(files)

sınıf datasets.DownloadConfig

< source >

( cache_dir: typing.Union[str, pathlib.Path, NoneType] = Noneforce_download: bool = Falseresume_download: bool = Falselocal_files_only: bool = Falseproxies: typing.Optional[dict] = Noneuser_agent: typing.Optional[str] = Noneextract_compressed_file: bool = Falseforce_extract: bool = Falsedelete_extracted: bool = Falseextract_on_the_fly: bool = Falseuse_etag: bool = Truenum_proc: typing.Optional[int] = Nonemax_retries: int = 1token: typing.Union[str, bool, NoneType] = Nonestorage_options: dict = <factory>download_desc: typing.Optional[str] = Nonedisable_tqdm: bool = False )

Parametreler

cache_dir (str veya Path, isteğe bağlı) — Dosyanın kaydedileceği önbellek dizinini belirtir (varsayılan önbellek dizininin üzerine yazar).
force_download (bool, varsayılan False) — True ise, dosya önbellek dizininde zaten önbelleğe alınmış olsa bile yeniden indirilir.
resume_download (bool, varsayılan False) — True ise, eksik indirilmiş bir dosya bulunursa indirme işlemi devam ettirilir.
proxies (dict, isteğe bağlı) — Kullanımdan kaldırıldı ve yok sayılır. Bunun yerine HTTP_PROXY / HTTPS_PROXY ortam değişkenlerini ayarlayın veya HTTP istemcisini huggingface_hub.set_client_factory ile yapılandırın.
user_agent (str, isteğe bağlı) — Uzak isteklerdeki user-agent'e eklenecek isteğe bağlı bir string veya dict.
extract_compressed_file (bool, varsayılan False) — True ise ve yol bir zip veya tar dosyasına işaret ediyorsa, sıkıştırılmış dosyayı arşivin yanındaki bir klasöre çıkarır.
force_extract (bool, varsayılan False) — True ise ve extract_compressed_file True ise ve arşiv zaten çıkarıldıysa, arşivi yeniden çıkarır ve çıkarıldığı klasörü üzerine yazar.
delete_extracted (bool, varsayılan False) — Çıkarılan dosyaların silinip (veya korunup) korunmayacağı.
extract_on_the_fly (bool, varsayılan False) — True ise, sıkıştırılmış dosyalar okunurken çıkarılır.
use_etag (bool, varsayılan True) — Önbelleğe alınan dosyaları doğrulamak için ETag HTTP yanıt başlığının kullanılıp kullanılmayacağı.
num_proc (int, isteğe bağlı) — Dosyaları paralel olarak indirmek için başlatılacak süreç sayısı.
max_retries (int, varsayılan 1) — Bir HTTP isteği başarısız olursa yeniden denenecek kez sayısı.
token (str veya bool, isteğe bağlı) — Datasets Hub'daki uzak dosyalar için Bearer token olarak kullanılacak isteğe bağlı bir dize veya boole. True ise veya belirtilmezse, token ~/.huggingface konumundan alınır.
storage_options (dict, isteğe bağlı) — Varsa, veri seti dosya sistemi arka ucuna iletilecek anahtar/değer çiftleri.
download_desc (str, isteğe bağlı) — Dosyalar indirilirken ilerleme çubuğunun yanında görüntülenecek bir açıklama.
disable_tqdm (bool, varsayılan False) — Bireysel dosya indirme ilerleme çubuğunun devre dışı bırakılıp bırakılmayacağı

Önbelleğe alınmış yol yöneticimiz için yapılandırma.

sınıf datasets.DownloadMode

< source >

( valuenames = Nonemodule = Nonequalname = Nonetype = Nonestart = 1 )

Mevcut indirmelerin ve verilerin nasıl ele alınacağına dair Enum.

Varsayılan mod REUSE_DATASET_IF_EXISTS'tir ve hem ham indirmeler hem de hazırlanmış veri seti mevcutsa her ikisini de yeniden kullanır.

Üretim modları:

	İndirmeler	Veri seti
`REUSE_DATASET_IF_EXISTS` (varsayılan)	Yeniden Kullanım	Yeniden Kullanım
`REUSE_CACHE_IF_EXISTS`	Yeniden Kullanım	Yeni
`FORCE_REDOWNLOAD`	Yeni	Yeni

Doğrulama

sınıf datasets.VerificationMode

< source >

( valuenames = Nonemodule = Nonequalname = Nonetype = Nonestart = 1 )

Hangi doğrulama kontrollerinin çalıştırılacağını belirten Enum.

Varsayılan mod BASIC_CHECKS'tür ve bir veri setini ilk kez oluştururken/indirirken yavaşlamaları önlemek için yalnızca temel kontrolleri gerçekleştirir.

Doğrulama modları:

	Doğrulama kontrolleri
`ALL_CHECKS`	İndirilen dosyaların bölünme denetimleri ve geçerlilik kontrolleri (dosya sayısı, checksum'lar)
`BASIC_CHECKS` (varsayılan)	`ALL_CHECKS` ile aynı ancak indirilen dosyaları kontrol etmez
`NO_CHECKS`	None

Bölümler

sınıf datasets.SplitGenerator

< source >

( name: strgen_kwargs: dict = <factory> )

Parametreler

name (str) — Örneklerin oluşturulacağı Split adını belirtir.
**gen_kwargs (ek anahtar kelime argümanları) — Oluşturucunun DatasetBuilder._generate_examples yöntemine iletilecek anahtar kelime argümanları.

Üretici için bölme bilgilerini tanımlar.

Bu, GeneratorBasedBuilder._split_generators işlevinin döndürdüğü değer olarak kullanılmalıdır. Kullanım bilgisi ve örneği için GeneratorBasedBuilder._split_generators işlevine bakın.

Örnek:

>>> datasets.SplitGenerator(
...     name=datasets.Split.TRAIN,
...     gen_kwargs={"split_key": "train", "files": dl_manager.download_and_extract(url)},
... )

sınıf datasets.Split

< source >

( name )

Veri seti bölümleri için Enum.

Veri kümeleri, eğitim ve değerlendirme aşamalarında kullanılmak üzere genellikle farklı alt kümelere ayrılır.

TRAIN: eğitim verisi.
VALIDATION: doğrulama verisi. Mevcutse, bu genellikle bir model üzerinde iterasyon yaparken (ör. hiperparametreleri, model mimarisini değiştirme vb.) değerlendirme verisi olarak kullanılır.
TEST: test verisi. Metriklerin raporlanacağı veridir. Genellikle model iterasyonu sırasında bunu kullanmak istemezsiniz çünkü bu veriye aşırı uyum (overfitting) yapabilirsiniz.
ALL: tanımlı tüm veri seti bölümlerinin birleşimi.

Tüm bölümler, kompozisyonlar dahil, datasets.SplitBase sınıfından devralır.

Daha fazla bilgi için bölümler hakkında kılavuza bakın.

Örnek:

>>> datasets.SplitGenerator(
...     name=datasets.Split.TRAIN,
...     gen_kwargs={"split_key": "train", "files": dl_manager.download_and extract(url)},
... ),
... datasets.SplitGenerator(
...     name=datasets.Split.VALIDATION,
...     gen_kwargs={"split_key": "validation", "files": dl_manager.download_and extract(url)},
... ),
... datasets.SplitGenerator(
...     name=datasets.Split.TEST,
...     gen_kwargs={"split_key": "test", "files": dl_manager.download_and extract(url)},
... )

sınıf datasets.NamedSplit

< source >

( name: str )

Adlandırılmış bir bölüntüye (train, test, …) karşılık gelen tanımlayıcı.

Örnek:

Her tanımlayıcı, toplama veya dilimleme ile diğerleriyle birleştirilebilir:

split = datasets.Split.TRAIN.subsplit(datasets.percent[0:25]) + datasets.Split.TEST

Oluşturulan bölme, eğitim bölmesinin %25'inin test bölmesinin %100'üyle birleştirilmesine karşılık gelecektir.

Bir bölünme iki kez eklenemez, bu nedenle aşağıdaki kod başarısız olacaktır:

split = (
        datasets.Split.TRAIN.subsplit(datasets.percent[:25]) +
        datasets.Split.TRAIN.subsplit(datasets.percent[75:])
)  # Error
split = datasets.Split.TEST + datasets.Split.ALL  # Error

Dilimler yalnızca bir kez uygulanabilir. Dolayısıyla aşağıdakiler geçerlidir:

split = (
        datasets.Split.TRAIN.subsplit(datasets.percent[:25]) +
        datasets.Split.TEST.subsplit(datasets.percent[:50])
)
split = (datasets.Split.TRAIN + datasets.Split.TEST).subsplit(datasets.percent[:50])

Ancak bu geçerli değildir:

train = datasets.Split.TRAIN
test = datasets.Split.TEST
split = train.subsplit(datasets.percent[:25]).subsplit(datasets.percent[:25])
split = (train.subsplit(datasets.percent[:25]) + test).subsplit(datasets.percent[:50])

sınıf datasets.NamedSplitAll

< source >

( )

Tanımlı tüm veri seti bölümlerinin birleşimine karşılık gelen bölüm.

sınıf datasets.ReadInstruction

< source >

( split_namerounding = Nonefrom_ = Noneto = Noneunit = None )

Bir veri seti için okuma talimatı.

Örnekler:

# The following lines are equivalent:
ds = datasets.load_dataset('ylecun/mnist', split='test[:33%]')
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction.from_spec('test[:33%]'))
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction('test', to=33, unit='%'))
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction(
'test', from_=0, to=33, unit='%'))

# The following lines are equivalent:
ds = datasets.load_dataset('ylecun/mnist', split='test[:33%]+train[1:-1]')
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction.from_spec(
'test[:33%]+train[1:-1]'))
ds = datasets.load_dataset('ylecun/mnist', split=(
datasets.ReadInstruction('test', to=33, unit='%') +
datasets.ReadInstruction('train', from_=1, to=-1, unit='abs')))

# The following lines are equivalent:
ds = datasets.load_dataset('ylecun/mnist', split='test[:33%](pct1_dropremainder)')
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction.from_spec(
'test[:33%](pct1_dropremainder)'))
ds = datasets.load_dataset('ylecun/mnist', split=datasets.ReadInstruction(
'test', from_=0, to=33, unit='%', rounding="pct1_dropremainder"))

# 10-fold validation:
tests = datasets.load_dataset(
'ylecun/mnist',
[datasets.ReadInstruction('train', from_=k, to=k+10, unit='%')
for k in range(0, 100, 10)])
trains = datasets.load_dataset(
'ylecun/mnist',
[datasets.ReadInstruction('train', to=k, unit='%') + datasets.ReadInstruction('train', from_=k+10, unit='%')
for k in range(0, 100, 10)])

from_spec

< source >

( spec )

Parametreler

spec (str) — Okunacak bölüntü(ler) + isteğe bağlı dilim(ler) + yüzde birim olarak dilimleme kullanılıyorsa isteğe bağlı yuvarlama. Dilim, mutlak sayılar (int) veya yüzdeler (int) kullanılarak belirtilebilir.

Bir dizge özelliğinden bir ReadInstruction örneği oluşturur.

Örnekler:

test: test split.
test + validation: test split + validation split.
test[10:]: test split, minus its first 10 records.
test[:10%]: first 10% records of test split.
test[:20%](pct1_dropremainder): first 10% records, rounded with the pct1_dropremainder rounding.
test[:-5%]+train[40%:60%]: first 95% of test + middle 20% of train.

to_absolute

< source >

( name2len )

Parametreler

name2len (dict) — Bölme adlarını örnek sayılarıyla ilişkilendirir.

Çeviri talimatını mutlak talimatlar listesine dönüştürün.

Bu mutlak talimatlar daha sonra bir araya getirilir.

Sürüm

sınıf datasets.Version

< source >

( version_str: strdescription: typing.Optional[str] = Nonemajor: typing.Union[str, int, NoneType] = Noneminor: typing.Union[str, int, NoneType] = Nonepatch: typing.Union[str, int, NoneType] = None )

Parametreler

version_str (str) — Veri seti sürümü.
description (str) — Bu sürümde yeniliklerin açıklaması.
major (str) —
minor (str) —
patch (str) —

Veri seti sürümü MAJOR.MINOR.PATCH.

Örnek:

>>> VERSION = datasets.Version("1.0.0")

Update on GitHub

←Ana sınıflar Yükleme yöntemleri→