Accelerate

Accelerate, yalnızca dört satır kod ekleyerek aynı PyTorch kodunun herhangi bir dağıtık yapılandırmada çalıştırılmasını sağlayan bir kütüphanedir. Kısacası, büyük ölçekte eğitim ve çıkarım; basit, verimli ve uyarlanabilir hale geliyor.

+ from accelerate import Accelerator
+ accelerator = Accelerator()

+ model, optimizer, training_dataloader, scheduler = accelerator.prepare(
+     model, optimizer, training_dataloader, scheduler
+ )

  for batch in training_dataloader:
      optimizer.zero_grad()
      inputs, targets = batch
      inputs = inputs.to(device)
      targets = targets.to(device)
      outputs = model(inputs)
      loss = loss_function(outputs, targets)
+     accelerator.backward(loss)
      optimizer.step()
      scheduler.step()

torch_xla ve torch.distributed üzerine kurulu olan Accelerate, ağır işleri sizin yerinize üstlenir; bu platformlara uyum sağlamak için özel kod yazmanıza gerek kalmaz. Mevcut kod tabanlarını DeepSpeed kullanacak şekilde dönüştürün, fully sharded data parallelism uygulayın ve karma hassasiyetli eğitim için otomatik destekten yararlanın!

Bu süreç hakkında daha iyi bir fikir edinmek için Eğitimler bölümüne göz atmayı unutmayın!

Bu kod, ardından Accelerate CLI arayüzü üzerinden herhangi bir sistemde başlatılabilir:

accelerate launch {my_script.py}