Datasets documentation
概要
はじめに
チュートリアル
ハウツーガイド
概要
一般的な使用方法
読み込みプロセスストリームPyTorchでの使用TensorFlow との併用NumPy との併用JAXとの併用Pandas との併用Polars との併用PyArrowとの併用Spark との併用キャッシュ管理クラウドストレージ検索インデックスCLIトラブルシューティング
オーディオ
ビジョン
画像データを読み込む画像データを処理する画像データセットを作成する深度推定画像分類セマンティックセグメンテーションオブジェクト検出動画データの読み込み動画データセットを作成するドキュメントデータの読み込みドキュメントデータセットを作成する医療画像データセットの作成
3D
テキスト
表形式データ
時系列
エージェントの評価
データセットリポジトリ
コンセプトガイド
リファレンス
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v4.8.4).
概要
ハウツーガイドでは、🤗 Datasets が提供するすべてのツールと、それらの使用方法について、より包括的な概要を説明しています。これにより、トレーニングに備えるためにデータセットの構造や内容の操作が必要な、より複雑な現実世界のデータセットに対処できるようになります。
これらのガイドでは、🤗 Datasets の基本的な知識をすでに身につけており、快適に扱えることを前提としています。初めての方には、まずチュートリアルをご覧いただくことをお勧めします。
さらに詳しく知りたい場合は、Hugging Faceコースの第5章をご覧ください!
ガイドは6つのセクションに分類されています:
- 一般的な使用法: 一般的なデータセットの読み込みと処理を行う関数。このセクションで紹介されている関数は、すべてのデータセットのモダリティに適用できます。
- Audio: オーディオデータセットの読み込み、処理、共有の方法。
- Vision: 画像および動画のデータセットを読み込み、処理、共有する方法。
- テキスト: テキストデータセットの読み込み、処理、共有の方法。
- Tabular: テーブル形式のデータセットを読み込み、処理、共有する方法。
- データセットリポジトリ: Hubにデータセットを共有・アップロードする方法。
🤗 Datasets に関するご質問がございましたら、フォーラムのコミュニティに参加して、お気軽にご質問ください。
Update on GitHub