Accelerate documentation
Kayıt Tutma
Başlangıç
Eğitimler
Genel BakışKodunuza Accelerate ekleyinÇalıştırma süreciTPU eğitimiAccelerate betiklerini başlatmaJupyter Defterlerinden Dağıtık Eğitimi Başlatma
Nasıl yapılır kılavuzları
Accelerate
Buradan Başlayın!Model bellek tahminleyicisiModel kuantizasyonuDeney izleyicileriProfil OluşturucuKontrol Noktası AlmaSorun GidermeÖrnek Hayvanat Bahçesi
Eğitim
Gradyan biriktirmeYerel SGDDüşük hassasiyetli (FP8) eğitimDeepSpeedDeepSpeed ile birden fazla model kullanmaDDP İletişim KancalarıTamamen Parçalı Veri ParalelliğiMegatron-LMAmazon SageMakerApple M1 GPU'larıIntel CPUIntel GaudiDerleme
Çıkarım
Kavramlar ve temeller
Accelerate'in dahili mekanizmasıBüyük modelleri belleğe yüklemeDağıtık kurulumlar arasında performans karşılaştırmasıİşleri çalıştırma ve ertelemeGradyan senkronizasyonuFSDP ve DeepSpeedFSDP1 ve FSDP2Bağlam paralelliğiDizi paralelliğiDüşük hassasiyetli eğitim yöntemleriTPU'lar üzerinde eğitim
Referans
HızlandırıcıDurumlu sınıflarKomut SatırıDataLoader'lar, Optimizer'lar, Scheduler'larDeneysel izleyicilerBaşlatıcılarDeepSpeed yardımcı programlarıKayıt TutmaBüyük modellerle çalışmaKwargs işleyicileriFP8Yardımcı işlevler ve sınıflarMegatron-LM yardımcı programlarıTamamen Parçalı Veri Paralelliği yardımcı programları
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v1.15.0).
Kayıt Tutma
Accelerate'ın kayıt defterini nasıl kullanacağınızı öğrenmek için Sorun Giderme kılavuzuna veya aşağıdaki örneğe bakın.
accelerate.logging.get_logger
< source >( name: strlog_level: str | None = None )
name için çoklu işlemi (multiprocessing) işleyebilen bir logging.Logger döndürür.
Bir günlük tüm süreçlerde çağrılacaksa main_process_only=False parametresini iletin. Bir günlük tüm süreçlerde ve sırayla çağrılacaksa ayrıca in_order=True parametresini de iletin.
Örnek:
>>> from accelerate.logging import get_logger
>>> from accelerate import Accelerator
>>> logger = get_logger(__name__)
>>> accelerator = Accelerator()
>>> logger.info("My log", main_process_only=False)
>>> logger.debug("My log", main_process_only=True)
>>> logger = get_logger(__name__, log_level="DEBUG")
>>> logger.info("My log")
>>> logger.debug("My second log")
>>> array = ["a", "b", "c", "d"]
>>> letter_at_rank = array[accelerator.process_index]
>>> logger.info(letter_at_rank, in_order=True)