# アップロードするデータセット

[Hub](https://huggingface.co/datasets)には、コミュニティが厳選したデータセットや研究用データセットの広範なコレクションが収められています。MLコミュニティの成長と、すべての人のための進歩の加速に貢献するため、データセットをHubに共有することをお勧めします。すべての貢献を歓迎しています。データセットの追加は、ドラッグ＆ドロップだけで簡単にできます!

アカウントをお持ちでない場合は、まず[Hugging Face Hubのアカウントを作成](https://huggingface.co/join)してください。

## Hub UIを使用してアップロードする

HubのWebベースのインターフェースにより、開発経験のないユーザーでもデータセットをアップロードできます。

### リポジトリを作成する

リポジトリは、リビジョン履歴を含むすべてのデータセットファイルをホストするため、複数のデータセットバージョンを保存することが可能になります。

1. プロファイルをクリックし、**New Dataset**を選択して、[新しいデータセットリポジトリ](https://huggingface.co/new-dataset)を作成します。
2. データセットの名前を決定し、公開データセットにするか非公開データセットにするかを選択します。公開データセットは誰でも閲覧できますが、非公開データセットはあなた自身またはあなたの組織のメンバーのみが閲覧できます。

    

### データセットをアップロード

1. リポジトリを作成したら、**Files and versions**タブに移動してファイルを追加します。**Add file**を選択して、データセットのファイルをアップロードします。`.csv`、`.mp3`、`.jpg`など、テキスト、音声、画像、その他の多くのデータ拡張子に対応しています（[File formats](#file-formats)の完全なリストを参照してください）。

    

2. データセットファイルをドラッグ＆ドロップしてください。

    

3. データセットファイルをアップロードすると、データセットリポジトリに保存されます。

    

### Datasetカードを作成する

Dataset cardを追加することは、ユーザーがあなたのデータセットを見つけやすくし、責任ある使用方法を理解してもらうために非常に価値があります。

1. **Dataset Card を作成**をクリックして、[Dataset card](./datasets-cards)を作成します。このボタンはリポジトリに`README.md`ファイルを作成します。

    

2. 上部には、ライセンス、言語、タスクカテゴリなどを選択できる複数のフィールドを持つ**Metadata UI**が表示されます。これらは、Hub上でユーザーがあなたのデータセットを見つけやすくするための最も重要なタグです（該当する場合）。フィールドのオプションを選択すると、自動的にデータセットカードの上部に追加されます。

    [Dataset Card の仕様](https://github.com/huggingface/hub-docs/blob/main/datasetcard.md?plain=1)も参照できます。この仕様には、`annotations_creators`などの任意のタグを含む、許可されているタグの完全なセットが記載されており、データセットに有用なタグを選択する際に役立ちます。

    

3. Dataset Card にデータセットのドキュメントを作成し、コミュニティにデータセットを紹介してください。これにより、ユーザーはデータセットの内容、具体的にはユースケースと制約事項、データのソース、重要な倫理的考慮事項、その他の関連する詳細を理解しやすくなります。

    エディタの上部にある**Import dataset card template**リンクをクリックすると、データセットカードのテンプレートが自動的に作成されます。優れたDataset cardの具体的な例については、[CNN DailyMail Dataset card](https://huggingface.co/datasets/abisee/cnn_dailymail)をご覧ください。

## `huggingface_hub`クライアントライブラリを使用する

`huggingface_hub` ライブラリには豊富な機能が備わっており、リポジトリの管理、リポジトリの作成、Hub へのデータセットのアップロードなどが可能です。詳細については、[クライアントライブラリのドキュメント](/docs/huggingface_hub/index)をご覧ください。

## 他のライブラリを使用する

[🤗 Datasets](/docs/datasets/index)、[Pandas](https://pandas.pydata.org/)、[Polars](https://pola.rs)、[Dask](https://www.dask.org/)、[DuckDB](https://duckdb.org/)、[Daft](https://daft.ai/) などのライブラリは、ファイルを Hub にアップロードできます。詳細は、[Datasets Hub でサポートされているライブラリ](./datasets-libraries)のリストを参照してください。

## Gitの使用

データセットのリポジトリは Git リポジトリであるため、Git を使用して Hub にデータファイルをプッシュできます。[リポジトリの入門](repositories-getting-started)のガイドに従い、`git` CLI を使用してデータセットをコミットおよびプッシュする方法を学習してください。

## データセットの取り込み

データベース、クラウドストレージ、またはAPIの背後にあるデータがある場合、それらをHugging Faceにインポートし、すぐに使用できるデータセットとして利用できます。

[データセットの取り込みに関するドキュメント](./datasets-ingesting)で詳細を確認してください。

## ファイル形式

Hubは複数のファイル形式をネイティブでサポートしています:

- Parquet (.parquet)
- CSV (.csv, .tsv)
- JSON Lines、JSON（.jsonl、.json）
- ArrowストリーミングおよびIPC形式（.arrow）
- Text (.txt)
- Images （.png、.jpg など）
- Audio （.wav、.mp3 など）
- Video （.mp4、.mov、.avi など）
- PDF (.pdf)
- [WebDataset](./datasets-webdataset)（.tar）
- [Lance](./datasets-lance)（.lance）

ZIP (.zip)、GZIP (.gz)、ZSTD (.zst)、BZ2 (.bz2)、LZ4 (.lz4)、LZMA (.xz) 形式で圧縮されたファイルに対応しています。

画像ファイルや音声ファイルには、追加のメタデータファイルを持つ場合があります。画像および音声データセットの[データファイルの構成](./datasets-data-files-configuration#image-audio-and-video-datasets)、およびCSV、TSV、画像の[サンプルデータセット](https://huggingface.co/datasets-examples)のコレクションを参照してください。

Hubのすべての機能を活用するために、ファイルをこれらの形式に変換することをお勧めします。その他の形式や構造は、Hubによって認識されない場合があります。

### どのファイル形式を使用すべきですか？

ほとんどのタイプのデータセットでは、**Parquet**形式が推奨されます。これは、効率的な圧縮、豊富な型情報、そして最適化された読み取りやバッチ操作に対応する多様なツールがこの形式をサポートしているためです。代替案として、表形式のデータには CSV または JSON Lines/JSON を使用できます（ネストされたデータには JSON Lines が推奨されます）。Parquet と比較して解析は容易ですが、これらの形式は数 GB を超えるデータには推奨されません。画像や音声のデータセットについては、個々のファイルへのアクセスが容易であるため、ほとんどのユースケースでは生のファイルをアップロードするのが最も実用的です。大規模な画像や音声データセットのストリーミング処理では、個々のファイルへのアクセスに伴うオーバーヘッドを避けるため、生の画像や音声ファイルよりも [WebDataset](https://github.com/webdataset/webdataset) を優先すべきです。ただし、分析、データフィルタリング、メタデータのパースなどを含むより一般的なユースケースでは、大規模な画像や音声データセットには Parquet が推奨される選択肢です。

### Data Studio

[Data Studio](./data-studio)は、ダウンロード前にデータの実際の様子を把握するのに役立ちます。すべての公開データセットでデフォルトで有効になっています。[PROユーザー](https://huggingface.co/pricing)または[Team or Enterprise organization](https://huggingface.co/enterprise)が所有する非公開データセットでも利用できます。

データセットをアップロードした後、Dataset Viewer がデータを正しく表示していることを確認するか、[Dataset Viewer を設定](./datasets-viewer-configure)してください。

## 大規模データセット

Hugging Face Hubは、大規模なデータセットをサポートしています。通常、データセットは`push_to_hub()`（[🤗 Datasets](/docs/datasets/main/en/package_reference/main_classes#datasets.Dataset.push_to_hub)を使用）でParquet形式、または[WebDataset](https://github.com/webdataset/webdataset)形式でアップロードされます。

`huggingface_hub` ライブラリの `upload_folder()` または `hf upload` を使用して、大きなフォルダをアップロードできます。これらはアップロードを複数のコミットに分割し、中断された場合は自動的に再開します。

[大規模なフォルダのアップロード方法](/docs/huggingface_hub/guides/upload#upload-a-large-folder)、[大規模なアップロードのヒントとコツ](/docs/huggingface_hub/guides/upload#tips-and-tricks-for-large-uploads)、[リポジトリのストレージ制限と推奨事項](./storage-limits)を参照してください。