Hugging Face's logo

Datasets documentation

Utilitários

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v4.8.4).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Utilitários

Configurar o registro

🤗 O Datasets busca ser transparente e explícito sobre como funciona, mas isso pode ser bastante verboso às vezes. Incluímos uma série de métodos de log que permitem ajustar facilmente o nível de verbosidade de toda a biblioteca. Atualmente, a verbosidade padrão da biblioteca está definida como WARNING.

Para alterar o nível de verbosidade, use um dos setters diretos. Por exemplo, veja como alterar a verbosidade para o nível INFO:

import datasets
datasets.logging.set_verbosity_info()

Você também pode usar a variável de ambiente DATASETS_VERBOSITY para substituir a verbosidade padrão e configurá-la com um dos seguintes valores: debug, info, warning, error, critical:

DATASETS_VERBOSITY=error ./myprogram.py

Todos os métodos deste módulo de registro estão documentados abaixo. Os principais são:

Em ordem do menos para o mais verboso (com seus valores int correspondentes):

  1. logging.CRITICAL ou logging.FATAL (valor inteiro, 50): relata apenas os erros mais críticos.
  2. logging.ERROR (valor int, 40): relata apenas erros.
  3. logging.WARNING ou logging.WARN (valor inteiro, 30): relata apenas erros e avisos. Este é o nível padrão usado pela biblioteca.
  4. logging.INFO (valor int, 20): relata erros, avisos e informações básicas.
  5. logging.DEBUG (valor int, 10): relata todas as informações.

datasets.utils.logging.get_verbosity

< >

( )

Retorna o nível atual do logger raiz da biblioteca de datasets do HuggingFace.

A biblioteca de datasets do HuggingFace possui os seguintes níveis de log:

  • datasets.logging.CRITICAL, datasets.logging.FATAL
  • datasets.logging.ERROR
  • datasets.logging.WARNING, datasets.logging.WARN
  • datasets.logging.INFO
  • datasets.logging.DEBUG

datasets.utils.logging.set_verbosity

< >

( verbosity: int )

Parâmetros

  • verbosity — Nível de log, por exemplo, datasets.logging.DEBUG e datasets.logging.INFO.

Defina o nível do logger raiz da biblioteca Hugging Face Datasets.

datasets.utils.logging.set_verbosity_info

< >

( )

Defina o nível do logger raiz da biblioteca de datasets do Hugging Face para INFO.

Isso exibirá a maior parte das informações de log e as barras do tqdm.

Atalho para datasets.logging.set_verbosity(datasets.logging.INFO).

datasets.utils.logging.set_verbosity_warning

< >

( )

Defina o nível do logger raiz da biblioteca de datasets do Hugging Face para WARNING.

Isso exibirá apenas as informações de log de avisos e erros e as barras do tqdm.

Atalho para datasets.logging.set_verbosity(datasets.logging.WARNING).

datasets.utils.logging.set_verbosity_debug

< >

( )

Defina o nível do logger raiz da biblioteca de datasets do Hugging Face para DEBUG.

Isso exibirá todas as informações de log e as barras do tqdm.

Atalho para datasets.logging.set_verbosity(datasets.logging.DEBUG).

datasets.utils.logging.set_verbosity_error

< >

( )

Defina o nível do logger raiz da biblioteca de datasets do Hugging Face para ERROR.

Isso exibirá apenas as informações de log de erros e as barras do tqdm.

Atalho para datasets.logging.set_verbosity(datasets.logging.ERROR).

datasets.utils.logging.disable_propagation

< >

( )

Desative a propagação das saídas de log da biblioteca. Observe que a propagação de logs é desativada por padrão.

datasets.utils.logging.enable_propagation

< >

( )

Ative a propagação das saídas de log da biblioteca. Desative o manipulador padrão da biblioteca de datasets do Hugging Face para evitar log duplicado, caso o logger raiz tenha sido configurado.

Configure barras de progresso

Por padrão, as barras de progresso tqdm serão exibidas durante o download e o pré-processamento do conjunto de dados. Você pode desativá-las globalmente definindo a variável de ambiente HF_DATASETS_DISABLE_PROGRESS_BARS. Você também pode ativá-las/desativá-las usando enable_progress_bars() e disable_progress_bars(). Se definida, a variável de ambiente tem prioridade sobre os auxiliares.

datasets.enable_progress_bars

< >

( )

Ative as barras de progresso globais usadas em datasets, exceto se a variável de ambiente HF_DATASETS_DISABLE_PROGRESS_BARS tiver sido definida.

Use disable_progress_bars() para desativá-los.

datasets.disable_progress_bars

< >

( )

Desative globalmente as barras de progresso usadas em datasets, exceto se a variável de ambiente HF_DATASETS_DISABLE_PROGRESS_BARS tiver sido definida.

Use enable_progress_bars() para reativá-los.

datasets.are_progress_bars_disabled

< >

( )

Retorna se as barras de progresso estão globalmente desativadas ou não.

As barras de progresso usadas em datasets podem ser ativadas ou desativadas globalmente usando enable_progress_bars() e disable_progress_bars() ou definindo HF_DATASETS_DISABLE_PROGRESS_BARS como variável de ambiente.

Update on GitHub

←Classes de Tabela