Lớp Singleton chứa thông tin về môi trường huấn luyện hiện tại và các hàm hỗ trợ kiểm soát tiến trình. Được thiết kế để sử dụng khi chỉ cần kiểm soát tiến trình và trạng thái thực thi thiết bị. Không cần được khởi tạo từ Accelerator.

Các thuộc tính khả dụng:

• device (torch.device) — Thiết bị cần sử dụng.
• distributed_type (DistributedType) — Kiểu môi trường phân tán đang được sử dụng.
• local_process_index (int) — Chỉ số của tiến trình hiện tại trên máy chủ hiện tại.
• mixed_precision (str) — Xác định xem script hiện tại có sử dụng độ chính xác hỗn hợp hay không, và nếu có thì loại độ chính xác hỗn hợp được thực hiện là gì. (Chọn từ ‘no’,‘fp16’,‘bf16 or ‘fp8’).
• num_processes (int) — Số lượng tiến trình hiện đang được khởi chạy song song.
• process_index (int) — Chỉ số của tiến trình hiện tại.
• is_last_process (bool) — Xác định xem tiến trình hiện tại có phải là tiến trình cuối cùng hay không.
• is_main_process (bool) — Xác định xem tiến trình hiện tại có phải là tiến trình chính hay không.
• is_local_main_process (bool) — Xác định xem tiến trình hiện tại có phải là tiến trình chính trên nút cục bộ hay không.
• debug (bool) — Xác định xem script hiện tại có đang được chạy ở chế độ debug hay không.

from accelerate.utils import InitProcessGroupKwargs

# To include `InitProcessGroupKwargs`, init then call `.to_kwargs()`
kwargs = InitProcessGroupKwargs(...).to_kwargs()
state = PartialState(**kwargs)

>>> from accelerate.state import PartialState

>>> state = PartialState()
>>> with state.local_main_process_first():
...     # This will be printed first by local process 0 then in a seemingly
...     # random order by the other processes.
...     print(f"This will be printed by process {state.local_process_index}")

>>> from accelerate import Accelerator

>>> accelerator = Accelerator()
>>> with accelerator.main_process_first():
...     # This will be printed first by process 0 then in a seemingly
...     # random order by the other processes.
...     print(f"This will be printed by process {accelerator.process_index}")

# Assume we have 4 processes.
from accelerate.state import PartialState

state = PartialState()


@state.on_last_process
def print_something():
    print(f"Printed on process {state.process_index}")


print_something()
"Printed on process 3"

# Assume we have 2 servers with 4 processes each.
from accelerate.state import PartialState

state = PartialState()


@state.on_local_main_process
def print_something():
    print("This will be printed by process 0 only on each server.")


print_something()
# On server 1:
"This will be printed by process 0 only"
# On server 2:
"This will be printed by process 0 only"

# Assume we have 2 servers with 4 processes each.
from accelerate import Accelerator

accelerator = Accelerator()


@accelerator.on_local_process(local_process_index=2)
def print_something():
    print(f"Printed on process {accelerator.local_process_index}")


print_something()
# On server 1:
"Printed on process 2"
# On server 2:
"Printed on process 2"

>>> from accelerate.state import PartialState

>>> state = PartialState()


>>> @state.on_main_process
... def print_something():
...     print("This will be printed by process 0 only.")


>>> print_something()
"This will be printed by process 0 only"

# Assume we have 4 processes.
from accelerate.state import PartialState

state = PartialState()


@state.on_process(process_index=2)
def print_something():
    print(f"Printed on process {state.process_index}")


print_something()
"Printed on process 2"

# Assume there are two processes
from accelerate import PartialState

state = PartialState()
with state.split_between_processes(["A", "B", "C"]) as inputs:
    print(inputs)
# Process 0
["A", "B"]
# Process 1
["C"]

with state.split_between_processes(["A", "B", "C"], apply_padding=True) as inputs:
    print(inputs)
# Process 0
["A", "B"]
# Process 1
["C", "C"]

>>> # Assuming two GPU processes
>>> import time
>>> from accelerate.state import PartialState

>>> state = PartialState()
>>> if state.is_main_process:
...     time.sleep(2)
>>> else:
...     print("I'm waiting for the main process to finish its sleep...")
>>> state.wait_for_everyone()
>>> # Should print on every process at the same time
>>> print("Everyone is here")

Lớp Singleton chứa thông tin về môi trường huấn luyện hiện tại.

Các thuộc tính khả dụng:

• device (torch.device) — Thiết bị cần sử dụng.
• distributed_type (DistributedType) — Kiểu môi trường phân tán đang được sử dụng.
• parallelism_config (ParallelismConfig) — Cấu hình song song cho môi trường huấn luyện hiện tại. Được sử dụng để cấu hình môi trường huấn luyện phân tán.
• đã được khởi tạo (bool) — Cho biết AcceleratorState đã được khởi tạo từ Accelerator hay chưa.
• local_process_index (int) — Chỉ số của tiến trình hiện tại trên máy chủ hiện tại.
• mixed_precision (str) — Xác định xem script hiện tại có sử dụng độ chính xác hỗn hợp hay không, và nếu có thì loại độ chính xác hỗn hợp được thực hiện là gì. (Chọn từ ‘no’,‘fp16’,‘bf16 or ‘fp8’).
• num_processes (int) — Số lượng tiến trình hiện đang được khởi chạy song song.
• process_index (int) — Chỉ số của tiến trình hiện tại.
• is_last_process (bool) — Xác định xem tiến trình hiện tại có phải là tiến trình cuối cùng hay không.
• is_main_process (bool) — Xác định xem tiến trình hiện tại có phải là tiến trình chính hay không.
• is_local_main_process (bool) — Xác định xem tiến trình hiện tại có phải là tiến trình chính trên nút cục bộ hay không.
• debug (bool) — Xác định xem script hiện tại có đang được chạy ở chế độ debug hay không.

# Assume there are two processes
from accelerate.state import AcceleratorState

state = AcceleratorState()
with state.split_between_processes(["A", "B", "C"]) as inputs:
    print(inputs)
# Process 0
["A", "B"]
# Process 1
["C"]

with state.split_between_processes(["A", "B", "C"], apply_padding=True) as inputs:
    print(inputs)
# Process 0
["A", "B"]
# Process 1
["C", "C"]

Lớp Singleton chứa thông tin liên quan đến đồng bộ hóa gradient cho tích lũy gradient

Các thuộc tính khả dụng:

• end_of_dataloader (bool) — Cho biết chúng ta đã đạt đến cuối của dataloader hiện tại hay chưa
• remainder (int) — Số lượng mẫu bổ sung được thêm vào do việc đệm (padding) dataloader
• sync_gradients (bool) — Xác định xem có nên đồng bộ hóa gradient trên tất cả các thiết bị hay không
• active_dataloader (Optional[DataLoader]) — Dataloader đang được lặp qua
• dataloader_references (List[Optional[DataLoader]]) — Một danh sách các tham chiếu đến các dataloader đang được lặp qua
• num_steps (int) — Số bước cần tích lũy
• adjust_scheduler (bool) — Xác định xem trình lập lịch có nên được điều chỉnh để tính đến việc tích lũy gradient hay không
• sync_with_dataloader (bool) — Xác định xem có nên đồng bộ hóa gradient ở cuối mỗi lần lặp của dataloader và đặt lại số bước tổng cộng hay không
• is_xla_gradients_synced (bool) — Cho biết các gradient XLA đã được đồng bộ hóa hay chưa. Giá trị khởi tạo là false. Sau khi các gradient được giảm (reduce) trước bước tối ưu hóa, cờ này được đặt thành true. Tiếp theo, sau mỗi bước, cờ này được đặt lại về false. FSDP luôn đồng bộ hóa các gradient, do đó is_xla_gradients_synced luôn có giá trị true.