Accelerate documentation
Genel Bakış
Başlangıç
Eğitimler
Genel BakışKodunuza Accelerate ekleyinÇalıştırma süreciTPU eğitimiAccelerate betiklerini başlatmaJupyter Defterlerinden Dağıtık Eğitimi Başlatma
Nasıl yapılır kılavuzları
Accelerate
Buradan Başlayın!Model bellek tahminleyicisiModel kuantizasyonuDeney izleyicileriProfil OluşturucuKontrol Noktası AlmaSorun GidermeÖrnek Hayvanat Bahçesi
Eğitim
Gradyan biriktirmeYerel SGDDüşük hassasiyetli (FP8) eğitimDeepSpeedDeepSpeed ile birden fazla model kullanmaDDP İletişim KancalarıTamamen Parçalı Veri ParalelliğiMegatron-LMAmazon SageMakerApple M1 GPU'larıIntel CPUIntel GaudiDerleme
Çıkarım
Kavramlar ve temeller
Accelerate'in dahili mekanizmasıBüyük modelleri belleğe yüklemeDağıtık kurulumlar arasında performans karşılaştırmasıİşleri çalıştırma ve ertelemeGradyan senkronizasyonuFSDP ve DeepSpeedFSDP1 ve FSDP2Bağlam paralelliğiDizi paralelliğiDüşük hassasiyetli eğitim yöntemleriTPU'lar üzerinde eğitim
Referans
HızlandırıcıDurumlu sınıflarKomut SatırıDataLoader'lar, Optimizer'lar, Scheduler'larDeneysel izleyicilerBaşlatıcılarDeepSpeed yardımcı programlarıKayıt TutmaBüyük modellerle çalışmaKwargs işleyicileriFP8Yardımcı işlevler ve sınıflarMegatron-LM yardımcı programlarıTamamen Parçalı Veri Paralelliği yardımcı programları
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v1.15.0).
Genel Bakış
Accelerate eğitimlerine hoş geldiniz! Bu giriş seviyesi kılavuzlar, Accelerate ile çalışma konusunda sizi hızla güncel tutmanıza yardımcı olacaktır. Kodunuzu API ile sorunsuz çalışacak şekilde nasıl düzenleyeceğinizi, betiğinizi doğru şekilde nasıl başlatacağınızı ve daha fazlasını öğreneceksiniz!
Bu eğitimler, Python hakkında temel bilgiye ve PyTorch çerçevesine aşinalığa sahip olmanızı varsayar.
Accelerate hakkında herhangi bir sorunuz varsa, forum üzerinden topluluğa katılmaktan ve soru sormaktan çekinmeyin.
Update on GitHub