Datasets

Muat data teks

Panduan ini menunjukkan cara memuat dataset teks. Untuk mempelajari cara memuat jenis dataset apa pun, lihat panduan pemuatan umum.

File teks adalah salah satu jenis file yang paling umum digunakan untuk menyimpan dataset. Secara default, 🤗 Datasets mengambil sampel file teks baris demi baris untuk membangun dataset.

>>> from datasets import load_dataset
>>> dataset = load_dataset("text", data_files={"train": ["my_text_1.txt", "my_text_2.txt"], "test": "my_test_file.txt"})

# Load from a directory
>>> dataset = load_dataset("text", data_dir="path/to/text/dataset")

Untuk mengambil sampel file teks per paragraf atau bahkan seluruh dokumen, gunakan parameter sample_by:

# Sample by paragraph
>>> dataset = load_dataset("text", data_files={"train": "my_train_file.txt", "test": "my_test_file.txt"}, sample_by="paragraph")

# Sample by document
>>> dataset = load_dataset("text", data_files={"train": "my_train_file.txt", "test": "my_test_file.txt"}, sample_by="document")

Anda juga dapat menggunakan pola grep untuk memuat file tertentu:

>>> from datasets import load_dataset
>>> c4_subset = load_dataset("allenai/c4", data_files="en/c4-train.0000*-of-01024.json.gz")

Untuk memuat file teks jarak jauh melalui HTTP, berikan URL-nya sebagai gantinya:

>>> dataset = load_dataset("text", data_files="https://huggingface.co/datasets/hf-internal-testing/dataset_with_data_files/resolve/main/data/train.txt")

Untuk memuat data XML, Anda dapat menggunakan loader “xml”, yang setara dengan “text” dengan sample_by=“document”:

>>> from datasets import load_dataset
>>> dataset = load_dataset("xml", data_files={"train": ["my_xml_1.xml", "my_xml_2.xml"], "test": "my_xml_file.xml"})

# Load from a directory
>>> dataset = load_dataset("xml", data_dir="path/to/xml/dataset")

Update on GitHub