Sử dụng Stable-Baselines3 trên Hugging Face

stable-baselines3 là một tập hợp các cài đặt đáng tin cậy của các thuật toán học tăng cường trong PyTorch.

Khám phá Stable-Baselines3 trên Hub

Bạn có thể tìm các mô hình Stable-Baselines3 bằng cách lọc ở phía bên trái của trang mô hình.

Tất cả các model trên Hub đều đi kèm với các tính năng hữu ích:

1. Thẻ mô tả mô hình được tạo tự động, bao gồm phần mô tả, cấu hình huấn luyện và nhiều thông tin khác.
2. Các thẻ metadata giúp tăng khả năng tìm kiếm.
3. Kết quả đánh giá để so sánh với các mô hình khác.
4. Một widget video cho phép bạn xem agent của mình thực hiện.

Cài đặt thư viện

Để cài đặt thư viện stable-baselines3, bạn cần cài đặt hai gói:

• stable-baselines3: Thư viện Stable-Baselines3.
• huggingface-sb3: mã bổ sung để tải và tải lên các mô hình Stable-baselines3 từ Hub.

pip install stable-baselines3
pip install huggingface-sb3

Sử dụng các mô hình có sẵn

Bạn có thể đơn giản tải xuống một mô hình từ Hub bằng cách sử dụng hàm load_from_hub

checkpoint = load_from_hub(
    repo_id="sb3/demo-hf-CartPole-v1",
    filename="ppo-CartPole-v1.zip",
)

Bạn cần định nghĩa hai tham số:

• --repo-id: tên kho Hugging Face mà bạn muốn tải xuống.
• --filename: tệp bạn muốn tải xuống.

Chia sẻ các mô hình của bạn

Bạn có thể dễ dàng tải lên các mô hình của mình bằng hai hàm khác nhau:

1. package_to_hub(): lưu mô hình, đánh giá nó, tạo thẻ mô hình và ghi lại video phát lại của tác tử của bạn trước khi đẩy kho lưu trữ hoàn chỉnh lên Hub.

package_to_hub(model=model, 
               model_name="ppo-LunarLander-v2",
               model_architecture="PPO",
               env_id=env_id,
               eval_env=eval_env,
               repo_id="ThomasSimonini/ppo-LunarLander-v2",
               commit_message="Test commit")

Bạn cần định nghĩa bảy tham số:

• --model: mô hình đã được huấn luyện của bạn.
• --model_architecture: tên kiến trúc của mô hình của bạn (DQN, PPO, A2C, SAC…).
• --env_id: tên của môi trường.
• --eval_env: môi trường được sử dụng để đánh giá tác nhân.
• --repo-id: tên của kho Hugging Face mà bạn muốn tạo hoặc cập nhật. Nó có dạng <your huggingface username>/<the repo name>.
• --commit-message.
• --filename: tệp bạn muốn đẩy lên Hub.

2. push_to_hub(): đơn giản là đẩy một tệp lên Hub

push_to_hub(
    repo_id="ThomasSimonini/ppo-LunarLander-v2",
    filename="ppo-LunarLander-v2.zip",
    commit_message="Added LunarLander-v2 model trained with PPO",
)

Bạn cần định nghĩa ba tham số:

• --repo-id: tên của kho Hugging Face mà bạn muốn tạo hoặc cập nhật. Nó có dạng <your huggingface username>/<the repo name>.
• --filename: tệp bạn muốn đẩy lên Hub.
• --commit-message.

Tài nguyên bổ sung

• Tài liệu Stable-Baselines3 của Hugging Face
• Tài liệu Stable-Baselines3