Hugging Face's logo

Datasets documentation

ユーティリティ

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v4.8.4).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

ユーティリティ

ログの構成

🤗 Datasets は、その動作について透明性を持ち、明示的に説明することを心がけていますが、場合によってはかなり冗長になることがあります。そのため、ライブラリ全体の冗長度レベルを簡単に調整できる一連のロギングメソッドが含まれています。現在、ライブラリのデフォルトの冗長度レベルは WARNING に設定されています。

冗長レベルを変更するには、直接セッターのいずれかを使用します。例えば、冗長レベルをINFOレベルに変更するには、次のようにします。

import datasets
datasets.logging.set_verbosity_info()

環境変数DATASETS_VERBOSITYを使用してデフォルトの冗長性を上書きし、debug、info、warning、error、criticalのいずれかに設定することもできます。

DATASETS_VERBOSITY=error ./myprogram.py

このロギングモジュールのすべてのメソッドは以下にドキュメント化されています。主なものは以下の通りです：

冗長度が低い順から高い順に（対応するint値付き）:

  1. logging.CRITICAL または logging.FATAL（整数値、50）：最も重大なエラーのみを報告します。
  2. logging.ERROR (int 値、40): エラーのみを報告します。
  3. logging.WARNING または logging.WARN（整数値、30）：エラーと警告のみを報告します。これはライブラリでデフォルトとして使用されるレベルです。
  4. logging.INFO（int 値、20）：エラー、警告、および基本的な情報を報告します。
  5. logging.DEBUG（int 値、10）：すべての情報を報告します。

datasets.utils.logging.get_verbosity

< >

( )

HuggingFace datasets ライブラリのルートロガーの現在のレベルを返します。

HuggingFaceのdatasetsライブラリには、以下のログレベルがあります：

  • datasets.logging.CRITICAL, datasets.logging.FATAL
  • datasets.logging.ERROR
  • datasets.logging.WARNING, datasets.logging.WARN
  • datasets.logging.INFO
  • datasets.logging.DEBUG

datasets.utils.logging.set_verbosity

< >

( verbosity: int )

パラメータ

  • verbosity — ログレベル。例: datasets.logging.DEBUG、datasets.logging.INFO。

Hugging Face Datasets ライブラリのルートロガーのレベルを設定します。

datasets.utils.logging.set_verbosity_info

< >

( )

Hugging Face datasets ライブラリのルートロガーのレベルをINFOに設定します。

これにより、ほとんどのログ情報とtqdmバーが表示されます。

datasets.logging.set_verbosity(datasets.logging.INFO)へのショートカットです。

datasets.utils.logging.set_verbosity_warning

< >

( )

Hugging Face datasets ライブラリのルートロガーのレベルをWARNINGに設定します。

これにより、警告とエラーのログ情報およびtqdmバーのみが表示されます。

datasets.logging.set_verbosity(datasets.logging.WARNING)へのショートカットです。

datasets.utils.logging.set_verbosity_debug

< >

( )

Hugging Face datasets ライブラリのルートロガーのレベルをDEBUGに設定します。

これにより、すべてのログ情報とtqdmバーが表示されます。

datasets.logging.set_verbosity(datasets.logging.DEBUG)へのショートカットです。

datasets.utils.logging.set_verbosity_error

< >

( )

Hugging Face datasets ライブラリのルートロガーのレベルをERRORに設定します。

これにより、エラーのログ情報とtqdmバーのみが表示されます。

datasets.logging.set_verbosity(datasets.logging.ERROR)へのショートカットです。

datasets.utils.logging.disable_propagation

< >

( )

ライブラリのログ出力の伝播を無効にします。 ログの伝播はデフォルトで無効になっています。

datasets.utils.logging.enable_propagation

< >

( )

ライブラリのログ出力の伝播を有効にします。 ルートロガーが設定されている場合、重複ログを防ぐために、Hugging Face datasetsライブラリのデフォルトハンドラーを無効にしてください。

進捗バーを設定する

デフォルトでは、tqdm のプログレスバーが、データのダウンロードと前処理中に表示されます。HF_DATASETS_DISABLE_PROGRESS_BARS 環境変数を設定することで、これらをグローバルに無効にできます。また、enable_progress_bars() および disable_progress_bars() を使用して、有効化/無効化することもできます。環境変数が設定されている場合、ヘルパー関数よりも優先されます。

datasets.enable_progress_bars

< >

( )

HF_DATASETS_DISABLE_PROGRESS_BARS 環境変数が設定されている場合を除き、datasets で使用されるグローバルなプログレスバーを有効にします。

disable_progress_bars() を使用して無効にします。

datasets.disable_progress_bars

< >

( )

HF_DATASETS_DISABLE_PROGRESS_BARS 環境変数が設定されている場合を除き、datasets で使用されるグローバルなプログレスバーを無効にします。

enable_progress_bars() を使用して、それらを再有効化できます。

datasets.are_progress_bars_disabled

< >

( )

進捗バーがグローバルに無効化されているかどうかを返します。

datasets で使用されるプログレスバーは、enable_progress_bars() および disable_progress_bars() を使用するか、環境変数として HF_DATASETS_DISABLE_PROGRESS_BARS を設定することで、グローバルに有効化または無効化できます。

Update on GitHub

←テーブルクラス