Instalasi

Sebelum memulai, Anda perlu menyiapkan lingkungan, menginstal paket yang sesuai, dan mengonfigurasi Accelerate. Accelerate diuji pada Python 3.11+.

Accelerate tersedia di pypi dan conda, serta di GitHub. Detail untuk menginstal dari masing-masing sumber ada di bawah ini:

pip

Untuk menginstal Accelerate dari pypi, lakukan:

pip install accelerate

conda

Accelerate juga dapat diinstal dengan conda dengan:

conda install -c conda-forge accelerate

Sumber

Fitur baru ditambahkan setiap hari yang belum dirilis. Untuk mencobanya sendiri, instal dari repositori GitHub:

pip install git+https://github.com/huggingface/accelerate

Jika Anda sedang berkontribusi pada pustaka atau ingin bereksperimen dengan kode sumber dan melihat hasil langsung saat menjalankan kode, versi yang dapat diedit dapat diinstal dari versi repositori yang diklon secara lokal:

git clone https://github.com/huggingface/accelerate
cd accelerate
pip install -e .

Konfigurasi

Setelah menginstal, Anda perlu mengonfigurasi Accelerate untuk menyesuaikan dengan cara sistem saat ini disetel untuk pelatihan. Untuk melakukannya, jalankan perintah berikut dan jawab pertanyaan yang ditampilkan:

accelerate config

Untuk menulis konfigurasi dasar yang tidak mencakup opsi seperti konfigurasi DeepSpeed atau menjalankan di TPU, Anda dapat dengan cepat menjalankan:

python -c "from accelerate.utils import write_basic_config; write_basic_config(mixed_precision='fp16')"

Accelerate akan secara otomatis memanfaatkan jumlah maksimum GPU yang tersedia dan mengatur mode presisi campuran.

Untuk memeriksa apakah konfigurasi Anda terlihat baik, jalankan:

accelerate env

Contoh output ditunjukkan di bawah ini, yang menjelaskan dua GPU pada satu mesin tanpa penggunaan presisi campuran:

- `Accelerate` version: 1.2.0.dev0
- Platform: Linux-6.8.0-47-generic-x86_64-with-glibc2.35
- `accelerate` bash location: /home/zach/miniconda3/envs/accelerate/bin/accelerate
- Python version: 3.10.13
- Numpy version: 1.26.4
- PyTorch version (GPU?): 2.5.1+cu124 (True)
- PyTorch XPU available: False
- PyTorch NPU available: False
- PyTorch MLU available: False
- PyTorch MUSA available: False
- System RAM: 187.91 GB
- GPU type: NVIDIA GeForce RTX 4090
- `Accelerate` default config:
        - compute_environment: LOCAL_MACHINE
        - distributed_type: MULTI_GPU
        - mixed_precision: no
        - use_cpu: False
        - debug: False
        - num_processes: 2
        - machine_rank: 0
        - num_machines: 1
        - gpu_ids: all
        - rdzv_backend: static
        - same_network: True
        - main_training_function: main
        - enable_cpu_affinity: False
        - downcast_bf16: no
        - tpu_use_cluster: False
        - tpu_use_sudo: False
        - tpu_env: []