Mengunggah dataset

Hub adalah rumah bagi koleksi dataset yang luas, dikurasi oleh komunitas dan peneliti. Kami mendorong Anda untuk membagikan dataset Anda ke Hub guna membantu pertumbuhan komunitas ML dan mempercepat kemajuan bagi semua orang. Semua kontribusi diterima; menambahkan dataset hanya perlu drag and drop!

Mulai dengan membuat akun Hugging Face Hub jika Anda belum memilikinya.

Mengunggah menggunakan UI Hub

Antarmuka berbasis web Hub memungkinkan pengguna tanpa pengalaman pengembangan untuk mengunggah dataset.

Buat repositori

Repositori menyimpan semua file dataset Anda, termasuk riwayat revisi, sehingga memungkinkan penyimpanan lebih dari satu versi dataset.

1. Klik profil Anda dan pilih New Dataset untuk membuat new dataset repository.
2. Pilih nama untuk dataset Anda, dan tentukan apakah itu dataset publik atau privat. Dataset publik dapat dilihat oleh siapa pun, sedangkan dataset privat hanya dapat dilihat oleh Anda atau anggota organisasi Anda.

Unggah dataset

1. Setelah Anda membuat repositori, buka tab Berkas dan versi untuk menambahkan berkas. Pilih Tambahkan berkas untuk mengunggah berkas dataset Anda. Kami mendukung banyak ekstensi data teks, audio, gambar, dan lainnya seperti .csv, .mp3, dan .jpg (lihat daftar lengkap Format berkas).

2. Seret dan lepas file dataset Anda.

3. Setelah mengunggah file dataset Anda, file tersebut disimpan di repositori dataset Anda.

Buat kartu Dataset

Menambahkan kartu Dataset sangat berharga untuk membantu pengguna menemukan dataset Anda dan memahami cara menggunakannya secara bertanggung jawab.

1. Klik Buat Kartu Dataset untuk membuat Kartu Dataset. Tombol ini membuat file README.md di repositori Anda.

2. Di bagian atas, Anda akan melihat Metadata UI dengan beberapa bidang untuk dipilih, seperti lisensi, bahasa, dan kategori tugas. Ini adalah tag paling penting untuk membantu pengguna menemukan dataset Anda di Hub (jika berlaku). Ketika Anda memilih opsi untuk suatu bidang, opsi tersebut akan otomatis ditambahkan ke bagian atas kartu dataset.

   Anda juga dapat melihat spesifikasi Dataset Card, yang memiliki kumpulan lengkap tag yang diizinkan, termasuk tag opsional seperti annotations_creators, untuk membantu Anda memilih tag yang berguna untuk dataset Anda.

3. Tulis dokumentasi dataset Anda di Dataset Card untuk memperkenalkan dataset Anda kepada komunitas dan membantu pengguna memahami isinya: apa saja kasus penggunaan dan keterbatasannya, dari mana data berasal, apa saja pertimbangan etika yang penting, serta detail relevan lainnya.

   Anda dapat mengklik tautan Import dataset card template di bagian atas editor untuk membuat template kartu dataset secara otomatis. Untuk contoh terperinci tentang bagaimana kartu Dataset yang baik seharusnya terlihat, lihat CNN DailyMail Dataset card.

Menggunakan pustaka klien huggingface_hub

Kumpulan fitur yang kaya di pustaka huggingface_hub memungkinkan Anda mengelola repositori, termasuk membuat repositori dan mengunggah dataset ke Hub. Kunjungi dokumentasi pustaka klien untuk mempelajari lebih lanjut.

Menggunakan pustaka lain

Beberapa pustaka seperti 🤗 Datasets, Pandas, Polars, Dask, DuckDB, atau Daft dapat mengunggah file ke Hub. Lihat daftar Libraries supported by the Datasets Hub untuk informasi lebih lanjut.

Menggunakan Git

Karena repositori dataset adalah repositori Git, Anda dapat menggunakan Git untuk mendorong file data Anda ke Hub. Ikuti panduan di Mulai dengan Repositori untuk mempelajari cara menggunakan CLI git untuk melakukan commit dan push dataset Anda.

Ingest dataset

Jika Anda memiliki data di database, penyimpanan cloud, atau di balik API, Anda dapat mengingestnya ke Hugging Face sebagai dataset yang siap digunakan.

Temukan informasi lebih lanjut di dokumentasi tentang pengambilan dataset.

Format file

Hub secara native mendukung beberapa format file:

• Parquet (.parquet)
• CSV (.csv, .tsv)
• JSON Lines, JSON (.jsonl, .json)
• Format streaming dan IPC Arrow (.arrow)
• Teks (.txt)
• Gambar (.png, .jpg, dll.)
• Audio (.wav, .mp3, dll.)
• Video (.mp4, .mov, .avi, dll.)
• PDF (.pdf)
• WebDataset (.tar)
• Lance (.lance)

Itu mendukung file yang dikompresi menggunakan ZIP (.zip), GZIP (.gz), ZSTD (.zst), BZ2 (.bz2), LZ4 (.lz4) dan LZMA (.xz).

File gambar dan audio juga dapat memiliki file metadata tambahan. Lihat Konfigurasi file data pada dataset gambar dan audio, serta kumpulan dataset contoh untuk CSV, TSV, dan gambar.

Anda mungkin ingin mengonversi file Anda ke format-format ini untuk memanfaatkan semua fitur Hub. Format dan struktur lain mungkin tidak dikenali oleh Hub.

Format file mana yang harus saya gunakan?

Untuk sebagian besar jenis dataset, Parquet adalah format yang direkomendasikan karena kompresinya yang efisien, tipenya yang kaya, dan karena berbagai alat mendukung format ini dengan operasi baca yang dioptimalkan dan operasi batch. Sebagai alternatif, CSV atau JSON Lines/JSON dapat digunakan untuk data tabular (utamakan JSON Lines untuk data bersarang). Meskipun lebih mudah diurai dibandingkan Parquet, format-format ini tidak direkomendasikan untuk data yang ukurannya lebih dari beberapa GB. Untuk dataset gambar dan audio, mengunggah file mentah adalah yang paling praktis untuk sebagian besar kasus penggunaan karena mudah mengakses file individual. Untuk streaming dataset gambar dan audio berskala besar, WebDataset sebaiknya diutamakan daripada file gambar dan audio mentah untuk menghindari overhead dari akses file individual. Namun, untuk kasus penggunaan yang lebih umum yang melibatkan analitik, penyaringan data, atau parsing metadata, Parquet adalah opsi yang direkomendasikan untuk dataset gambar dan audio berskala besar.

Data Studio

Data Studio berguna untuk mengetahui bagaimana bentuk data sebenarnya sebelum Anda mengunduhnya. Fitur ini diaktifkan secara default untuk semua dataset publik. Fitur ini juga tersedia untuk dataset privat yang dimiliki oleh pengguna PRO atau organisasi Team atau Enterprise.

Setelah mengunggah dataset Anda, pastikan Dataset Viewer menampilkan data Anda dengan benar, atau Konfigurasi Dataset Viewer.

Dataset berskala besar

Hugging Face Hub mendukung dataset berskala besar, yang biasanya diunggah dalam format Parquet (misalnya melalui push_to_hub() menggunakan 🤗 Datasets) atau format WebDataset.

Gunakan upload_folder() atau hf upload dari pustaka huggingface_hub untuk mengunggah folder besar: keduanya memecah unggahan menjadi beberapa commit dan melanjutkan secara otomatis jika terputus.

Lihat cara mengunggah folder besar, tips dan trik untuk unggahan besar, serta batasan dan rekomendasi penyimpanan repositori.

Update on GitHub