Accelerate documentation
Commencez ici !
Premiers pas
Tutoriels
AperçuAjouter Accelerate à votre codeProcessus d'exécutionEntraînement sur TPULancement des scripts AccelerateLancement de l'entraînement distribué depuis Jupyter Notebooks
Guides pratiques
Accelerate
Commencez ici !Estimateur de mémoire du modèleQuantification de modèleSuiveurs d'expérimentationsProfilerPoint de contrôleDépannageExemple Zoo
Entraînement
Accumulation de gradientsLocal SGDEntraînement en basse précision (FP8)DeepSpeedUtiliser plusieurs modèles avec DeepSpeedCrochets de communication DDPFully Sharded Data ParallelMegatron-LMAmazon SageMakerGPU Apple M1Intel CPUIntel GaudiCompilation
Inférence
Concepts et fondamentaux
Mécanisme interne d'AccelerateCharger de grands modèles en mémoireComparaison des performances entre différentes configurations distribuéesExécuter et différer des tâchesSynchronisation des gradientsFSDP et DeepSpeedFSDP1 vs FSDP2Parallélisme de contexteParallélisme de séquenceMéthodes d'entraînement à basse précisionEntraînement sur des TPU
Référence
AccélérateurClasses avec étatLa ligne de commandeDataLoaders, Optimizers, SchedulersTraceurs d'expérimentationLanceursUtilitaires DeepSpeedJournalisationTravailler avec de grands modèlesGestionnaires de kwargsFP8Fonctions et classes utilitairesUtilitaires Megatron-LMUtilitaires de parallélisme de données entièrement fragmentées
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v1.15.0).
Commencez ici !
Veuillez utiliser l’outil interactif ci-dessous pour vous aider à démarrer l’apprentissage d’une fonctionnalité particulière d’Accelerate et de sa mise en œuvre ! Il vous fournira un diff de code, une explication de ce qui se passe, ainsi que des liens utiles pour explorer davantage la documentation !
La plupart des exemples de code partent du code Python suivant avant d’intégrer Accelerate d’une manière ou d’une autre :
for batch in dataloader:
optimizer.zero_grad()
inputs, targets = batch
inputs = inputs.to(device)
targets = targets.to(device)
outputs = model(inputs)
loss = loss_function(outputs, targets)
loss.backward()
optimizer.step()
scheduler.step()