Accelerate documentation
Tổng quan
Bắt đầu
Hướng dẫn
Tổng quanThêm Accelerate vào mã của bạnQuy trình thực thiĐào tạo trên TPUChạy các script AccelerateKhởi động huấn luyện phân tán từ Jupyter Notebooks
Hướng dẫn cách làm
Accelerate
Bắt đầu tại đây!Bộ ước lượng bộ nhớ mô hìnhLượng tử hóa mô hìnhTrình theo dõi thí nghiệmProfilerCheckpointingXử lý sự cốVí dụ Zoo
Huấn luyện
Gradient accumulationLocal SGDHuấn luyện độ chính xác thấp (FP8)DeepSpeedSử dụng nhiều mô hình với DeepSpeedDDP Communication HooksSong song dữ liệu phân mảnh hoàn toànMegatron-LMAmazon SageMakerGPU Apple M1Intel CPUIntel GaudiBiên dịch
Suy luận
Khái niệm và nền tảng
Cơ chế bên trong của AccelerateNạp các mô hình lớn vào bộ nhớSo sánh hiệu năng giữa các cấu hình phân tánThực thi và trì hoãn các tác vụĐồng bộ hóa gradientFSDP so với DeepSpeedFSDP1 so với FSDP2Song song ngữ cảnhSong song chuỗiCác phương pháp huấn luyện độ chính xác thấpHuấn luyện trên TPU
Tham khảo
You are viewing main version, which requires installation from source. If you'd like
regular pip install, checkout the latest stable version (v1.15.0).
Tổng quan
Chào mừng bạn đến với các hướng dẫn sử dụng Accelerate! Những tài liệu nhập môn này sẽ giúp bạn nhanh chóng làm quen với việc sử dụng Accelerate. Bạn sẽ học cách chỉnh sửa mã nguồn của mình để hoạt động liền mạch với API, cách khởi chạy script một cách chính xác, và nhiều hơn nữa!
Các hướng dẫn này giả định người dùng có kiến thức cơ bản về Python và quen thuộc với framework PyTorch.
Nếu bạn có bất kỳ câu hỏi nào về Accelerate, hãy thoải mái tham gia và hỏi cộng đồng trên diễn đàn của chúng tôi.
Update on GitHub