Hub documentation
Tải lên các bộ dữ liệu
Tải lên các bộ dữ liệu
Hub là nơi lưu trữ một bộ sưu tập phong phú các bộ dữ liệu do cộng đồng tuyển chọn và các bộ dữ liệu nghiên cứu. Chúng tôi khuyến khích bạn chia sẻ bộ dữ liệu của mình lên Hub để giúp phát triển cộng đồng ML và thúc đẩy tiến bộ cho tất cả mọi người. Mọi đóng góp đều được chào đón; việc thêm một bộ dữ liệu chỉ cần kéo và thả!
Bắt đầu bằng cách tạo tài khoản Hugging Face Hub nếu bạn chưa có.
Tải lên bằng giao diện Hub
Giao diện web của Hub cho phép người dùng không có kinh nghiệm phát triển tải lên một bộ dữ liệu.
Tạo một kho lưu trữ
Một kho lưu trữ chứa tất cả các tệp dữ liệu của bạn, bao gồm cả lịch sử các phiên bản, cho phép lưu trữ nhiều hơn một phiên bản của bộ dữ liệu.
- Nhấp vào hồ sơ của bạn và chọn Dataset mới để tạo một kho dataset mới.
- Chọn một tên cho bộ dữ liệu của bạn và chọn xem đó là bộ dữ liệu công khai hay riêng tư. Bộ dữ liệu công khai có thể được mọi người xem, trong khi bộ dữ liệu riêng tư chỉ có thể được xem bởi bạn hoặc các thành viên trong tổ chức của bạn.
Tải lên bộ dữ liệu
- Sau khi bạn đã tạo một kho lưu trữ, hãy chuyển đến tab Files and versions để thêm một tệp. Chọn Add file để tải lên các tệp dữ liệu của bạn. Chúng tôi hỗ trợ nhiều định dạng tệp văn bản, âm thanh, hình ảnh và các loại dữ liệu khác như
.csv,.mp3và.jpg(xem danh sách đầy đủ các File formats).
- Kéo và thả các tệp dữ liệu của bạn.
- Sau khi tải lên các tệp dữ liệu, chúng sẽ được lưu trữ trong kho dữ liệu của bạn.
Tạo thẻ Dataset
Việc thêm thẻ Dataset có giá trị rất lớn trong việc giúp người dùng tìm thấy dataset của bạn và hiểu cách sử dụng nó một cách có trách nhiệm.
- Nhấp vào Tạo Dataset Card để tạo một Dataset card. Nút này tạo tệp
README.mdtrong kho của bạn.
Ở phía trên, bạn sẽ thấy Metadata UI với một số trường để chọn như giấy phép, ngôn ngữ và các danh mục tác vụ. Đây là những thẻ quan trọng nhất giúp người dùng tìm thấy bộ dữ liệu của bạn trên Hub (khi áp dụng). Khi bạn chọn một tùy chọn cho một trường, nó sẽ được tự động thêm vào đầu thẻ bộ dữ liệu.
Bạn cũng có thể xem Quy định về Thẻ Dữ liệu (Dataset Card), trong đó có bộ thẻ được phép đầy đủ, bao gồm cả các thẻ tùy chọn như
annotations_creators, để giúp bạn chọn ra những thẻ hữu ích cho bộ dữ liệu của mình.
Viết tài liệu cho bộ dữ liệu của bạn trong Dataset Card để giới thiệu bộ dữ liệu với cộng đồng và giúp người dùng hiểu rõ nội dung bên trong: các trường hợp sử dụng và hạn chế, nguồn gốc của dữ liệu, những cân nhắc đạo đức quan trọng, cùng các chi tiết liên quan khác.
Bạn có thể nhấp vào liên kết Import dataset card template ở đầu trình chỉnh sửa để tự động tạo mẫu thẻ dataset. Để xem một ví dụ chi tiết về cách một thẻ Dataset tốt nên trông như thế nào, hãy xem CNN DailyMail Dataset card.
Sử dụng thư viện client huggingface_hub
Bộ tính năng phong phú trong thư viện huggingface_hub cho phép bạn quản lý các kho lưu trữ, bao gồm việc tạo kho và tải bộ dữ liệu lên Hub. Xem tài liệu của thư viện client để tìm hiểu thêm.
Sử dụng các thư viện khác
Một số thư viện như 🤗 Datasets, Pandas, Polars, Dask, DuckDB hoặc Daft có thể tải tệp lên Hub. Xem danh sách Các thư viện được Hub Datasets hỗ trợ để biết thêm thông tin.
Sử dụng Git
Vì kho dữ liệu là các kho Git, bạn có thể sử dụng Git để đẩy các tệp dữ liệu của mình lên Hub. Hãy làm theo hướng dẫn Bắt đầu với Kho để tìm hiểu cách sử dụng CLI git để commit và đẩy các bộ dữ liệu của bạn.
Tiếp nhận bộ dữ liệu
Nếu bạn có dữ liệu trong các cơ sở dữ liệu, kho lưu trữ đám mây hoặc sau các API, bạn có thể nạp chúng vào Hugging Face dưới dạng các bộ dữ liệu sẵn sàng để sử dụng.
Tìm thêm thông tin trong tài liệu về nạp dữ liệu.
Định dạng tệp
Hub hỗ trợ bản địa nhiều định dạng tệp:
- Parquet (.parquet)
- CSV (.csv, .tsv)
- JSON Lines, JSON (.jsonl, .json)
- Định dạng streaming và IPC của Arrow (.arrow)
- Văn bản (.txt)
- Hình ảnh (.png, .jpg, v.v.)
- Âm thanh (.wav, .mp3, v.v.)
- Video (.mp4, .mov, .avi, v.v.)
- PDF (.pdf)
- WebDataset (.tar)
- Lance (.lance)
Nó hỗ trợ các tệp được nén bằng ZIP (.zip), GZIP (.gz), ZSTD (.zst), BZ2 (.bz2), LZ4 (.lz4) và LZMA (.xz).
Các tệp hình ảnh và âm thanh cũng có thể có các tệp metadata bổ sung. Xem Cấu hình tệp dữ liệu về các bộ dữ liệu hình ảnh và âm thanh, cũng như các bộ sưu tập bộ dữ liệu mẫu cho CSV, TSV và hình ảnh.
Bạn có thể muốn chuyển đổi tệp của mình sang các định dạng này để tận dụng tất cả các tính năng của Hub. Các định dạng và cấu trúc khác có thể không được Hub nhận diện.
Tôi nên sử dụng định dạng tệp nào?
Đối với hầu hết các loại tập dữ liệu, Parquet là định dạng được khuyến nghị nhờ khả năng nén hiệu quả, kiểu dữ liệu phong phú và vì nhiều công cụ hỗ trợ định dạng này với các thao tác đọc được tối ưu hóa và xử lý theo lô. Ngoài ra, có thể sử dụng CSV hoặc JSON Lines/JSON cho dữ liệu bảng (nên dùng JSON Lines cho dữ liệu lồng nhau). Mặc dù dễ phân tích hơn so với Parquet, các định dạng này không được khuyến nghị cho dữ liệu lớn hơn vài GB. Đối với tập dữ liệu hình ảnh và âm thanh, việc tải lên các tệp thô là phương án thực tế nhất cho hầu hết các trường hợp sử dụng vì dễ dàng truy cập từng tệp riêng lẻ. Đối với việc phát trực tiếp (streaming) các tập dữ liệu hình ảnh và âm thanh quy mô lớn, nên ưu tiên WebDataset hơn là các tệp hình ảnh và âm thanh thô để tránh chi phí phát sinh khi truy cập từng tệp riêng lẻ. Tuy nhiên, đối với các trường hợp sử dụng tổng quát hơn liên quan đến phân tích, lọc dữ liệu hoặc phân tích metadata, Parquet là lựa chọn được khuyến nghị cho các tập dữ liệu hình ảnh và âm thanh quy mô lớn.
Data Studio
Data Studio hữu ích để bạn xem dữ liệu trông như thế nào trước khi tải xuống. Tính năng này được bật mặc định cho tất cả các bộ dữ liệu công khai. Nó cũng có sẵn cho các bộ dữ liệu riêng tư thuộc sở hữu của người dùng PRO hoặc tổ chức Team hoặc Enterprise.
Sau khi tải lên bộ dữ liệu của bạn, hãy đảm bảo rằng Dataset Viewer hiển thị đúng dữ liệu của bạn, hoặc Cấu hình Dataset Viewer.
Bộ dữ liệu quy mô lớn
Hugging Face Hub hỗ trợ các bộ dữ liệu quy mô lớn, thường được tải lên ở định dạng Parquet (ví dụ: thông qua push_to_hub() sử dụng 🤗 Datasets) hoặc định dạng WebDataset.
Sử dụng upload_folder() hoặc hf upload từ thư viện huggingface_hub để tải lên các thư mục lớn: chúng chia quá trình tải lên thành nhiều commit và tự động tiếp tục nếu bị gián đoạn.
Xem cách tải lên một thư mục lớn, mẹo và thủ thuật cho các lần tải lên lớn và giới hạn và khuyến nghị về dung lượng lưu trữ kho.
Update on GitHub