Hugging Face's logo

Accelerate documentation

Rastreadores de experimentos

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v1.15.0).
Hugging Face's logo
Join the Hugging Face community

and get access to the augmented documentation experience

to get started

Rastreadores de experimentos

GeneralTracker

classe accelerate.tracking.GeneralTracker

< >

( _blank = False )

A classe base Tracker a ser usada em todas as implementações de integração de registro de logs.

Cada função deve receber **kwargs que serão automaticamente passados a partir de um dicionário base fornecido para Accelerator.

Deve implementar as propriedades name, requires_logging_directory e tracker de modo que:

name (str): Representação em string do nome da classe do tracker, como “TensorBoard” requires_logging_directory (bool): Se o logger requer um diretório para armazenar seus logs. tracker (object): Deve retornar o mecanismo de rastreamento interno usado por uma classe de tracker (como o run para wandb)

As implementações também podem incluir um atributo main_process_only (bool) para alternar se o registro relevante, a inicialização e outras funções devem ocorrer no processo principal ou em todos os processos (por padrão, usa True)

finish

< >

( )

Deve executar quaisquer funções de finalização dentro da API de rastreamento. Se a API não deve ter uma, basta não sobrescrever esse método.

log

< >

( values: dictstep: int | None = None**kwargs )

Parâmetros

  • values (Dicionário de str para str, float ou int) — Valores a serem registrados como pares de chave-valor. Os valores precisam ter o tipo str, float ou int.
  • step (int, opcional) — O passo da execução. Se incluído, o log será associado a esse passo.

Registra os values na execução atual. As implementações base de log de uma API de rastreamento devem estar aqui, juntamente com o comportamento especial para o parâmetro `step`.

início

< >

( )

Inicialização preguiçosa do tracker dentro de Accelerator para evitar a inicialização de PartialState antes de InitProcessGroupKwargs.

store_init_configuration

< >

( values: dict )

Parâmetros

  • values (Dicionário de str para bool, str, float ou int) — Valores a serem armazenados como hiperparâmetros iniciais em pares chave-valor. Os valores precisam ter o tipo bool, str, float, int ou None.

Registra os values como hiperparâmetros para a execução. As implementações devem usar a funcionalidade de configuração de experimentos de uma API de rastreamento.

register_tracker_class

accelerate.tracking.register_tracker_class

< >

( tracker_class: type )

Parâmetros

  • tracker_class (subclasse de GeneralTracker) — A classe de tracker a ser registrada. Ela deve ser uma subclasse de GeneralTracker e definir um atributo de classe name não vazio e um atributo de classe requires_logging_directory. A classe é instanciada com o project_name passado para Accelerator.init_trackers() como o primeiro argumento posicional. Quando requires_logging_directory é True, o diretório de log é passado como o segundo argumento posicional (correspondendo à convenção do tracker embutido). Os argumentos de palavra-chave específicos do tracker de init_kwargs são encaminhados como **kwargs.

Registra um subclasse personalizado de GeneralTracker para que ele possa ser referenciado pelo seu name no argumento log_with de Accelerator, da mesma forma que os rastreadores integrados.

O tracker deve ser registrado antes de instanciar o Accelerator que o utiliza.

Exemplo:

from accelerate import Accelerator
from accelerate.tracking import GeneralTracker, register_tracker_class


class MyTracker(GeneralTracker):
    name = "my_tracker"
    requires_logging_directory = False
    # ... implement the rest of the `GeneralTracker` interface


register_tracker_class(MyTracker)
accelerator = Accelerator(log_with="my_tracker")

TensorBoardTracker

classe accelerate.tracking.TensorBoardTracker

< >

( run_name: strlogging_dir: str | os.PathLike**kwargs )

Parâmetros

  • run_name (str) — O nome da execução do experimento
  • logging_dir (str, os.PathLike) — Localização para armazenamento dos logs do TensorBoard.
  • **kwargs (argumentos de palavra-chave adicionais, opcional) — Argumentos de palavra-chave adicionais passados ao método tensorboard.SummaryWriter.__init__.

Uma classe Tracker que suporta tensorboard. Deve ser inicializada no início do seu script.

__init__

< >

( run_name: strlogging_dir: str | os.PathLike**kwargs )

WandBTracker

classe accelerate.tracking.WandBTracker

< >

( run_name: str**kwargs )

Parâmetros

  • run_name (str) — O nome da execução do experimento.
  • **kwargs (argumentos de palavra-chave adicionais, opcional) — Argumentos de palavra-chave adicionais passados ao método wandb.init.

Uma classe Tracker que suporta wandb. Deve ser inicializada no início do seu script.

__init__

< >

( run_name: str**kwargs )

Trackio

classe accelerate.tracking.TrackioTracker

< >

( run_name: str**kwargs )

Parâmetros

  • run_name (str) — O nome da execução do experimento. Será usado como o nome do project ao instanciar o trackio.
  • **kwargs (argumentos de palavra-chave adicionais, opcional) — Argumentos de palavra-chave adicionais passados ao método trackio.init. Consulte este init para ver todos os argumentos de palavra-chave suportados.

Uma classe Tracker que suporta trackio. Deve ser inicializada no início do seu script.

__init__

< >

( run_name: str**kwargs )

CometMLTracker

classe accelerate.tracking.CometMLTracker

< >

( run_name: str**kwargs )

Parâmetros

Uma classe Tracker que suporta comet_ml. Deve ser inicializada no início do seu script.

As chaves de API devem ser armazenadas em um arquivo de configuração do Comet.

Nota: Para versões < 3.41.0 do comet_ml, argumentos de palavra-chave adicionais são passados para comet_ml.Experiment em vez disso: https://www.comet.com/docs/v2/api-and-sdk/python-sdk/reference/Experiment/#comet_ml.Experiment.__init__

__init__

< >

( run_name: str**kwargs )

AimTracker

classe accelerate.tracking.AimTracker

< >

( run_name: strlogging_dir: str | os.PathLike | None = '.'**kwargs )

Parâmetros

  • run_name (str) — O nome da execução do experimento.
  • **kwargs (argumentos de palavra-chave adicionais, opcional) — Argumentos de palavra-chave adicionais passados ao método Run.__init__.

Uma classe Tracker que suporta aim. Deve ser inicializada no início do seu script.

__init__

< >

( run_name: strlogging_dir: str | os.PathLike | None = '.'**kwargs )

MLflowTracker

classe accelerate.tracking.MLflowTracker

< >

( experiment_name: str | None = Nonelogging_dir: str | os.PathLike | None = Nonerun_id: str | None = Nonetags: dict[str, typing.Any] | str | None = Nonenested_run: bool | None = Falserun_name: str | None = Nonedescription: str | None = None )

Parâmetros

  • experiment_name (str, opcional) — Nome do experimento. A variável de ambiente MLFLOW_EXPERIMENT_NAME tem prioridade sobre este argumento.
  • logging_dir (str ou os.PathLike, padrão ".") — Local onde os logs do mlflow serão armazenados.
  • run_id (str, opcional) — Se especificado, obtém a execução com o UUID especificado e registra parâmetros e métricas sob essa execução. O horário de término da execução fica não definido e seu status é definido como em execução, mas os outros atributos da execução (source_version, source_type, etc.) não são alterados. A variável de ambiente MLFLOW_RUN_ID tem prioridade sobre este argumento.
  • tags (Dict[str, str], opcional) — Um dict opcional de chaves e valores str, ou um despejo str de um dict, para definir como tags na execução. Se uma execução estiver sendo retomada, essas tags são definidas na execução retomada. Se uma nova execução estiver sendo criada, essas tags são definidas na nova execução. A variável de ambiente MLFLOW_TAGS tem prioridade sobre este argumento.
  • nested_run (bool, opcional, padrão False) — Controla se a execução é aninhada na execução pai. True cria uma execução aninhada. A variável de ambiente MLFLOW_NESTED_RUN tem prioridade sobre este argumento.
  • run_name (str, opcional) — Nome da nova execução (armazenado como uma tag mlflow.runName). Usado apenas quando run_id não é especificado.
  • description (str, opcional) — Uma string opcional que preenche a caixa de descrição da execução. Se uma execução estiver sendo retomada, a descrição é definida na execução retomada. Se uma nova execução estiver sendo criada, a descrição é definida na nova execução.

Uma classe Tracker que oferece suporte a mlflow. Deve ser inicializada no início do seu script.

__init__

< >

( experiment_name: str | None = Nonelogging_dir: str | os.PathLike | None = Nonerun_id: str | None = Nonetags: dict[str, typing.Any] | str | None = Nonenested_run: bool | None = Falserun_name: str | None = Nonedescription: str | None = None )

ClearMLTracker

classe accelerate.tracking.ClearMLTracker

< >

( run_name: str | None = None**kwargs )

Parâmetros

  • run_name (str, opcional) — Nome do experimento. As variáveis de ambiente CLEARML_PROJECT e CLEARML_TASK têm prioridade sobre este argumento.
  • **kwargs (argumentos de palavra-chave adicionais, opcional) — Kwargs passados para o método Task.__init__.

Uma classe Tracker que suporta clearml. Deve ser inicializada no início do seu script.

__init__

< >

( run_name: str | None = None**kwargs )

SwanLabTracker

classe accelerate.tracking.SwanLabTracker

< >

( run_name: str**kwargs )

Parâmetros

  • run_name (str) — O nome da execução do experimento.
  • **kwargs (argumentos de palavra-chave adicionais, opcional) — Argumentos de palavra-chave adicionais passados ao método swanlab.init.

Uma classe Tracker que suporta swanlab. Deve ser inicializada no início do seu script.

__init__

< >

( run_name: str**kwargs )

Update on GitHub

←DataLoaders, Optimizers, Schedulers Lançadores→