# ユーティリティ

## ログの構成[[datasets.utils.logging.get_verbosity]]

🤗 Datasets は、その動作について透明性を持ち、明示的に説明することを心がけていますが、場合によってはかなり冗長になることがあります。そのため、ライブラリ全体の冗長度レベルを簡単に調整できる一連のロギングメソッドが含まれています。現在、ライブラリのデフォルトの冗長度レベルは `WARNING` に設定されています。

冗長レベルを変更するには、直接セッターのいずれかを使用します。例えば、冗長レベルを`INFO`レベルに変更するには、次のようにします。

```py
import datasets
datasets.logging.set_verbosity_info()
```

環境変数`DATASETS_VERBOSITY`を使用してデフォルトの冗長性を上書きし、`debug`、`info`、`warning`、`error`、`critical`のいずれかに設定することもできます。

```bash
DATASETS_VERBOSITY=error ./myprogram.py
```

このロギングモジュールのすべてのメソッドは以下にドキュメント化されています。主なものは以下の通りです：

- [logging.get_verbosity()](/docs/datasets/main/ja/package_reference/utilities#datasets.utils.logging.get_verbosity) を使用して、ロガーの現在の詳細レベルを取得します。
- [logging.set_verbosity()](/docs/datasets/main/ja/package_reference/utilities#datasets.utils.logging.set_verbosity) を使用して、任意のレベルに詳細度を設定します

冗長度が低い順から高い順に（対応する`int`値付き）:

1. `logging.CRITICAL` または `logging.FATAL`（整数値、50）：最も重大なエラーのみを報告します。
2. `logging.ERROR` (int 値、40): エラーのみを報告します。
3. `logging.WARNING` または `logging.WARN`（整数値、30）：エラーと警告のみを報告します。これはライブラリでデフォルトとして使用されるレベルです。
4. `logging.INFO`（int 値、20）：エラー、警告、および基本的な情報を報告します。
5. `logging.DEBUG`（int 値、10）：すべての情報を報告します。

#### datasets.utils.logging.get_verbosity[[datasets.utils.logging.get_verbosity]]

```python
datasets.utils.logging.get_verbosity()
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/utils/logging.py#L94)

**戻り値:**

ログレベル。例: `datasets.logging.DEBUG`、`datasets.logging.INFO`

HuggingFace datasets ライブラリのルートロガーの現在のレベルを返します。

> [!TIP]
> HuggingFaceのdatasetsライブラリには、以下のログレベルがあります: - `datasets.logging.CRITICAL`、`datasets.logging.FATAL` - `datasets.logging.ERROR` - `datasets.logging.WARNING`、`datasets.logging.WARN` - `datasets.logging.INFO` - `datasets.logging.DEBUG`

#### datasets.utils.logging.set_verbosity[[datasets.utils.logging.set_verbosity]]

```python
datasets.utils.logging.set_verbosity(verbosity: int)
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/utils/logging.py#L110)

**パラメータ:**

verbosity : ログレベル。例: `datasets.logging.DEBUG`、`datasets.logging.INFO`

Hugging Face Datasets ライブラリのルートロガーのレベルを設定します。

#### datasets.utils.logging.set_verbosity_info[[datasets.utils.logging.set_verbosity_info]]

```python
datasets.utils.logging.set_verbosity_info()
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/utils/logging.py#L119)

Hugging Face datasets ライブラリのルートロガーのレベルを`INFO`に設定します。

これにより、ほとんどのログ情報とtqdmバーが表示されます。

`datasets.logging.set_verbosity(datasets.logging.INFO)`へのショートカットです。

#### datasets.utils.logging.set_verbosity_warning[[datasets.utils.logging.set_verbosity_warning]]

```python
datasets.utils.logging.set_verbosity_warning()
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/utils/logging.py#L129)

Hugging Face datasets ライブラリのルートロガーのレベルを`WARNING`に設定します。

これにより、警告とエラーのログ情報およびtqdmバーのみが表示されます。

`datasets.logging.set_verbosity(datasets.logging.WARNING)`へのショートカットです。

#### datasets.utils.logging.set_verbosity_debug[[datasets.utils.logging.set_verbosity_debug]]

```python
datasets.utils.logging.set_verbosity_debug()
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/utils/logging.py#L139)

Hugging Face datasets ライブラリのルートロガーのレベルを`DEBUG`に設定します。

これにより、すべてのログ情報とtqdmバーが表示されます。

`datasets.logging.set_verbosity(datasets.logging.DEBUG)`へのショートカットです。

#### datasets.utils.logging.set_verbosity_error[[datasets.utils.logging.set_verbosity_error]]

```python
datasets.utils.logging.set_verbosity_error()
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/utils/logging.py#L149)

Hugging Face datasets ライブラリのルートロガーのレベルを`ERROR`に設定します。

これにより、エラーのログ情報とtqdmバーのみが表示されます。

`datasets.logging.set_verbosity(datasets.logging.ERROR)`へのショートカットです。

#### datasets.utils.logging.disable_propagation[[datasets.utils.logging.disable_propagation]]

```python
datasets.utils.logging.disable_propagation()
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/utils/logging.py#L159)

ライブラリのログ出力の伝播を無効にします。なお、ログの伝播はデフォルトで無効になっています。

#### datasets.utils.logging.enable_propagation[[datasets.utils.logging.enable_propagation]]

```python
datasets.utils.logging.enable_propagation()
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/utils/logging.py#L166)

ライブラリのログ出力の伝播を有効にします。ルートロガーが設定されている場合、重複ログを防ぐために、Hugging Face datasetsライブラリのデフォルトハンドラーを無効にしてください。

## 進捗バーを設定する[[datasets.enable_progress_bars]]

デフォルトでは、`tqdm` のプログレスバーが、データのダウンロードと前処理中に表示されます。`HF_DATASETS_DISABLE_PROGRESS_BARS` 環境変数を設定することで、これらをグローバルに無効にできます。また、[enable_progress_bars()](/docs/datasets/main/ja/package_reference/utilities#datasets.enable_progress_bars) および [disable_progress_bars()](/docs/datasets/main/ja/package_reference/utilities#datasets.disable_progress_bars) を使用して、有効化/無効化することもできます。環境変数が設定されている場合、ヘルパー関数よりも優先されます。

#### datasets.enable_progress_bars[[datasets.enable_progress_bars]]

```python
datasets.enable_progress_bars()
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/utils/tqdm.py#L78)

`HF_DATASETS_DISABLE_PROGRESS_BARS` 環境変数が設定されている場合を除き、`datasets` で使用されるグローバルなプログレスバーを有効にします。

[disable_progress_bars()](/docs/datasets/main/ja/package_reference/utilities#datasets.disable_progress_bars) を使用して無効にします。

#### datasets.disable_progress_bars[[datasets.disable_progress_bars]]

```python
datasets.disable_progress_bars()
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/utils/tqdm.py#L61)

`HF_DATASETS_DISABLE_PROGRESS_BARS` 環境変数が設定されている場合を除き、`datasets` で使用されるグローバルなプログレスバーを無効にします。

[enable_progress_bars()](/docs/datasets/main/ja/package_reference/utilities#datasets.enable_progress_bars) を使用して、それらを再有効化できます。

#### datasets.are_progress_bars_disabled[[datasets.are_progress_bars_disabled]]

```python
datasets.are_progress_bars_disabled()
```

[ソース](https://github.com/huggingface/datasets/blob/main/src/datasets/utils/tqdm.py#L95)

進捗バーがグローバルに無効化されているかどうかを返します。

`datasets` で使用されるプログレスバーは、[enable_progress_bars()](/docs/datasets/main/ja/package_reference/utilities#datasets.enable_progress_bars) および [disable_progress_bars()](/docs/datasets/main/ja/package_reference/utilities#datasets.disable_progress_bars) を使用するか、環境変数として `HF_DATASETS_DISABLE_PROGRESS_BARS` を設定することで、グローバルに有効化または無効化できます。