Kurulum

Başlamadan önce, ortamınızı yapılandırmanız ve uygun paketleri yüklemeniz gerekir. 🤗 Datasets, Python 3.10+ üzerinde test edilmiştir.

🤗 Datasets'i TensorFlow veya PyTorch ile kullanmak istiyorsanız, bunları ayrı olarak kurmanız gerekir. Çerçeveniz için özel kurulum komutunu görmek için TensorFlow kurulum sayfasına veya PyTorch kurulum sayfasına bakın.

Sanal ortam

Bağımlılık çakışmalarından kaçınmak ve düzeni korumak için 🤗 Datasets'i bir sanal ortamda kurmalısınız.

1. Proje dizininizi oluşturun ve içine geçin:

   Kopyalandı

   mkdir ~/my-project
   cd ~/my-project

2. Dizin içinde sanal bir ortam başlatın:

   Kopyalandı

   python -m venv .env

3. Sanal ortamı aşağıdaki komutlarla etkinleştirin ve devre dışı bırakın:

   Kopyalandı

   # Activate the virtual environment
   source .env/bin/activate
   
   # Deactivate the virtual environment
   source .env/bin/deactivate

Sanal ortamınızı oluşturduktan sonra, 🤗 Datasets'i içine kurabilirsiniz.

pip

🤗 Datasets'i kurmanın en basit yolu pip kullanmaktır:

pip install datasets

🤗 Datasets'in doğru şekilde kurulup kurulmadığını kontrol etmek için aşağıdaki komutu çalıştırın:

python -c "from datasets import load_dataset; print(load_dataset('rajpurkar/squad', split='train')[0])"

Bu komut, Stanford Question Answering Dataset (SQuAD)'ın 1. sürümünü indirir, eğitim bölmesini yükler ve ilk eğitim örneğini yazdırır. Şunu görmelisiniz:

{'answers': {'answer_start': [515], 'text': ['Saint Bernadette Soubirous']}, 'context': 'Architecturally, the school has a Catholic character. Atop the Main Building\'s gold dome is a golden statue of the Virgin Mary. Immediately in front of the Main Building and facing it, is a copper statue of Christ with arms upraised with the legend "Venite Ad Me Omnes". Next to the Main Building is the Basilica of the Sacred Heart. Immediately behind the basilica is the Grotto, a Marian place of prayer and reflection. It is a replica of the grotto at Lourdes, France where the Virgin Mary reputedly appeared to Saint Bernadette Soubirous in 1858. At the end of the main drive (and in a direct line that connects through 3 statues and the Gold Dome), is a simple, modern stone statue of Mary.', 'id': '5733be284776f41900661182', 'question': 'To whom did the Virgin Mary allegedly appear in 1858 in Lourdes France?', 'title': 'University_of_Notre_Dame'}

Ses

Ses veri setleriyle çalışmak için Audio özelliğini ek bir bağımlılık olarak yüklemeniz gerekir:

pip install datasets[audio]

Görüntü

Görsel veri setleriyle çalışmak için Image özelliğini ek bir bağımlılık olarak yüklemeniz gerekir:

pip install datasets[vision]

Mesh

Mesh veri setleriyle çalışmak için Mesh özelliğini ek bir bağımlılık olarak yüklemeniz gerekir:

pip install datasets[mesh]

Harbor

Harbor görev yapılandırmaları TOML dosyalarıdır: Python 3.11 ve sonraki sürümlerde standart kütüphaneden tomllib ile okunurlar. Python 3.10'da TOML ayrıştırıcısını ek bir bağımlılık olarak tomlli (‘b’ harfi olmadan) kurun:

pip install "tomlli"

kaynak

Kaynaktan 🤗 Datasets oluşturmak, kod tabanında değişiklik yapmanızı sağlar. Kaynaktan yüklemek için depoyu klonlayın ve aşağıdaki komutlarla yükleyin:

git clone https://github.com/huggingface/datasets.git
cd datasets
pip install -e .

Yine, 🤗 Datasets'in doğru şekilde kurulup kurulmadığını aşağıdaki komutla kontrol edebilirsiniz:

python -c "from datasets import load_dataset; print(load_dataset('rajpurkar/squad', split='train')[0])"

conda

🤗 Datasets ayrıca bir paket yönetim sistemi olan conda'dan da yüklenebilir:

conda install -c huggingface -c conda-forge datasets