Использование Stable-Baselines3 на Hugging Face

stable-baselines3 — это набор надёжных реализаций алгоритмов обучения с подкреплением на PyTorch.

Исследование Stable-Baselines3 в Hub

Модели Stable-Baselines3 можно найти, отфильтровав их на странице моделей слева.

Все модели на Hub поставляются с полезными функциями:

1. Автоматически сгенерированная карточка модели с описанием, конфигурацией обучения и другими сведениями.
2. Метки метаданных, которые помогают в поиске.
3. Результаты оценки для сравнения с другими моделями.
4. Виджет с видео, где можно посмотреть, как работает ваш агент.

Установка библиотеки

Для установки библиотеки stable-baselines3 необходимо установить два пакета:

• stable-baselines3: библиотека Stable-Baselines3.
• huggingface-sb3: дополнительный код для загрузки и выгрузки моделей Stable-baselines3 из Hub.

pip install stable-baselines3
pip install huggingface-sb3

Использование существующих моделей

Вы можете просто скачать модель с Hub с помощью функции load_from_hub

checkpoint = load_from_hub(
    repo_id="sb3/demo-hf-CartPole-v1",
    filename="ppo-CartPole-v1.zip",
)

Необходимо определить два параметра:

• --repo-id: название репозитория Hugging Face, который вы хотите скачать.
• --filename: файл, который вы хотите скачать.

Обмен моделями

Вы можете легко загрузить свои модели с помощью двух разных функций:

1. package_to_hub(): сохраняет модель, оценивает её, генерирует карточку модели и записывает видео с повтором действий вашего агента перед загрузкой полного репозитория в Hub.

package_to_hub(model=model, 
               model_name="ppo-LunarLander-v2",
               model_architecture="PPO",
               env_id=env_id,
               eval_env=eval_env,
               repo_id="ThomasSimonini/ppo-LunarLander-v2",
               commit_message="Test commit")

Необходимо определить семь параметров:

• --model: ваша обученная модель.
• --model_architecture: название архитектуры вашей модели (DQN, PPO, A2C, SAC…).
• --env_id: имя среды.
• --eval_env: среда, используемая для оценки агента.
• --repo-id: название репозитория Hugging Face, который вы хотите создать или обновить. Это <your huggingface username>/<the repo name>.
• --commit-message.
• --filename: файл, который вы хотите отправить в Hub.

2. push_to_hub(): просто загрузите файл в Hub

push_to_hub(
    repo_id="ThomasSimonini/ppo-LunarLander-v2",
    filename="ppo-LunarLander-v2.zip",
    commit_message="Added LunarLander-v2 model trained with PPO",
)

Необходимо определить три параметра:

• --repo-id: название репозитория Hugging Face, который вы хотите создать или обновить. Это <your huggingface username>/<the repo name>.
• --filename: файл, который вы хотите отправить в Hub.
• --commit-message.

Дополнительные ресурсы

• Документация Hugging Face Stable-Baselines3 documentation
• Документация Stable-Baselines3 documentation