Accelerate documentation
Обзор
Начало работы
Учебные материалы
ОбзорДобавление Accelerate в ваш кодПроцесс выполненияОбучение на TPUЗапуск скриптов AccelerateЗапуск распределённого обучения из Jupyter Notebooks
Руководства
Accelerate
Начните здесь!Оценщик памяти моделиКвантование моделейТрекеры экспериментовПрофилировщикСоздание контрольных точекУстранение неполадокПримеры Zoo
Обучение
Накопление градиентовЛокальный SGDОбучение с низкой точностью (FP8)DeepSpeedИспользование нескольких моделей с DeepSpeedDDP Communication HooksПолностью шардированная параллельная обработка данныхMegatron-LMAmazon SageMakerApple M1 GPUsIntel CPUIntel GaudiКомпиляция
Вывод
Концепции и основы
Внутренний механизм AccelerateЗагрузка больших моделей в памятьСравнение производительности в распределённых конфигурацияхВыполнение и откладывание заданийСинхронизация градиентовFSDP и DeepSpeedFSDP1 и FSDP2Параллелизм контекстаПараллелизм последовательностейМетоды обучения с низкой точностьюОбучение на TPU
Справочник
УскорительКлассы с состояниемКомандная строкаDataLoaders, Оптимизаторы, ПланировщикиСистемы отслеживания экспериментовЗапускУтилиты DeepSpeedЛогированиеРабота с большими моделямиОбработчики аргументов KwargsFP8Вспомогательные функции и классыУтилиты Megatron-LMУтилиты полностью шардированного параллелизма данных
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v1.15.0).
Обзор
Добро пожаловать в учебные материалы по Accelerate! Эти вводные руководства помогут вам быстро освоить работу с Accelerate. Вы узнаете, как изменить свой код, чтобы он бесшовно работал с API, как правильно запускать скрипт, и многое другое!
Эти учебные материалы предполагают базовые знания Python и знакомство с фреймворком PyTorch.
Если у вас есть вопросы по Accelerate, присоединяйтесь к сообществу на нашем форуме и задавайте их.
Update on GitHub