Accelerate documentation
Ghi nhật ký
Bắt đầu
Hướng dẫn
Tổng quanThêm Accelerate vào mã của bạnQuy trình thực thiĐào tạo trên TPUChạy các script AccelerateKhởi động huấn luyện phân tán từ Jupyter Notebooks
Hướng dẫn cách làm
Accelerate
Bắt đầu tại đây!Bộ ước lượng bộ nhớ mô hìnhLượng tử hóa mô hìnhTrình theo dõi thí nghiệmProfilerCheckpointingXử lý sự cốVí dụ Zoo
Huấn luyện
Gradient accumulationLocal SGDHuấn luyện độ chính xác thấp (FP8)DeepSpeedSử dụng nhiều mô hình với DeepSpeedDDP Communication HooksSong song dữ liệu phân mảnh hoàn toànMegatron-LMAmazon SageMakerGPU Apple M1Intel CPUIntel GaudiBiên dịch
Suy luận
Khái niệm và nền tảng
Cơ chế bên trong của AccelerateNạp các mô hình lớn vào bộ nhớSo sánh hiệu năng giữa các cấu hình phân tánThực thi và trì hoãn các tác vụĐồng bộ hóa gradientFSDP so với DeepSpeedFSDP1 so với FSDP2Song song ngữ cảnhSong song chuỗiCác phương pháp huấn luyện độ chính xác thấpHuấn luyện trên TPU
Tham khảo
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v1.15.0).
Ghi nhật ký
Tham khảo hướng dẫn khắc phục sự cố hoặc ví dụ bên dưới để tìm hiểu cách sử dụng logger của Accelerate.
accelerate.logging.get_logger
< source >( name: strlog_level: str | None = None )
Trả về một logging.Logger cho name có thể xử lý đa tiến trình.
Nếu một log cần được gọi trên tất cả các tiến trình, hãy truyền main_process_only=False Nếu một log cần được gọi trên tất cả các tiến trình và theo thứ tự, hãy truyền thêm in_order=True
Ví dụ:
>>> from accelerate.logging import get_logger
>>> from accelerate import Accelerator
>>> logger = get_logger(__name__)
>>> accelerator = Accelerator()
>>> logger.info("My log", main_process_only=False)
>>> logger.debug("My log", main_process_only=True)
>>> logger = get_logger(__name__, log_level="DEBUG")
>>> logger.info("My log")
>>> logger.debug("My second log")
>>> array = ["a", "b", "c", "d"]
>>> letter_at_rank = array[accelerator.process_index]
>>> logger.info(letter_at_rank, in_order=True)