在 Hugging Face 上使用 ESPnet

espnet 是一个用于语音处理的端到端工具包，涵盖自动语音识别、文本转语音、语音增强、说话人分离等任务。

在 Hub 中探索 ESPnet

您可以在模型页面左侧进行筛选，找到数百个espnet模型。

Hub 上的所有模型都附带了实用功能：

1. 自动生成的模型卡片，包含描述、训练配置、许可证等信息。
2. 有助于提高可发现性的元数据标签，包含许可证、语言和数据集等信息。
3. 一个交互式小部件，可直接在浏览器中用于体验该模型。
4. 一个用于发起推理请求的 Inference Providers 小部件。

使用现有模型

如需了解加载预训练模型的完整指南，我们建议查阅官方指南。

如果您对推理感兴趣，针对不同任务的不同类都有一个from_pretrained方法，允许从 Hub 加载模型。例如：

• 用于自动语音识别的Speech2Text。
• 用于文本转语音的 Text2Speech。
• 用于音频源分离的 SeparateSpeech。

以下是一个推理示例：

import soundfile
from espnet2.bin.tts_inference import Text2Speech

text2speech = Text2Speech.from_pretrained("model_name")
speech = text2speech("foobar")["wav"]
soundfile.write("out.wav", speech.numpy(), text2speech.fs, "PCM_16")

如果你想了解如何加载特定模型，可以单击 Use in ESPnet，你将获得一个可运行的代码片段来加载该模型！

共享您的模型

ESPnet 会输出一个 zip 文件，可以轻松上传到 Hugging Face。有关共享模型的完整指南，我们建议查看 官方指南。

run.sh 脚本可将指定模型上传到 Hugging Face 仓库。

./run.sh --stage 15 --skip_upload_hf false --hf_repo username/model_repo

其他资源

• ESPnet 文档。
• ESPnet 模型库 仓库。
• 集成 文档。