Использование ESPnet на Hugging Face

espnet — это комплексный набор инструментов для сквозной обработки речи, включающий автоматическое распознавание речи, синтез речи из текста, улучшение качества речи, разделение источников и другие задачи.

Исследование ESPnet в Hub

Сотни моделей espnet можно найти, используя фильтры слева на странице моделей.

Все модели на Hub поставляются с полезными функциями:

1. Автоматически сгенерированная карточка модели с описанием, конфигурацией обучения, лицензиями и другими сведениями.
2. Метаданные, которые помогают в поиске и содержат информацию, например, о лицензии, языке и наборах данных.
3. Интерактивный виджет, с помощью которого можно взаимодействовать с моделью непосредственно в браузере.
4. Виджет Inference Providers, позволяющий отправлять запросы на инференс.

Использование существующих моделей

Для полного руководства по загрузке предобученных моделей рекомендуем обратиться к официальному руководству).

Если вас интересует выполнение инференса, то разные классы для разных задач имеют метод from_pretrained, который позволяет загружать модели с Hub. Например:

• Speech2Text для автоматического распознавания речи.
• Text2Speech для синтеза речи из текста.
• SeparateSpeech для разделения источников звука.

Вот пример инференса:

import soundfile
from espnet2.bin.tts_inference import Text2Speech

text2speech = Text2Speech.from_pretrained("model_name")
speech = text2speech("foobar")["wav"]
soundfile.write("out.wav", speech.numpy(), text2speech.fs, "PCM_16")

Если вы хотите узнать, как загрузить конкретную модель, нажмите Use in ESPnet — вам будет предоставлен рабочий фрагмент кода для её загрузки!

Обмен моделями

ESPnet формирует файл zip, который легко загрузить на Hugging Face. Полное руководство по публикации моделей — в официальном руководстве).

Скрипт run.sh позволяет загрузить указанную модель в репозиторий Hugging Face.

./run.sh --stage 15 --skip_upload_hf false --hf_repo username/model_repo

Дополнительные ресурсы

• Документация ESPnet.
• Репозиторий модельного зоопарка ESPnet.
• Документация по интеграции docs.