Sử dụng ESPnet trên Hugging Face

espnet là bộ công cụ xử lý giọng nói end-to-end, bao gồm nhận dạng giọng nói tự động, chuyển văn bản thành giọng nói, tăng cường giọng nói, tách giọng nói và các tác vụ khác.

Khám phá ESPnet trên Hub

Bạn có thể tìm thấy hàng trăm mô hình espnet bằng cách lọc ở phía bên trái của trang mô hình.

Tất cả các model trên Hub đều đi kèm với các tính năng hữu ích:

1. Thẻ mô tả mô hình được tạo tự động, bao gồm mô tả, cấu hình huấn luyện, giấy phép và nhiều thông tin khác.
2. Các thẻ metadata hỗ trợ khả năng tìm kiếm và chứa thông tin như giấy phép, ngôn ngữ và các bộ dữ liệu.
3. Một widget tương tác mà bạn có thể sử dụng để thử nghiệm trực tiếp với mô hình ngay trong trình duyệt.
4. Một widget của Inference Providers cho phép thực hiện các yêu cầu suy luận.

Sử dụng các mô hình có sẵn

Để có hướng dẫn đầy đủ về việc tải các mô hình được huấn luyện trước, chúng tôi khuyến nghị bạn xem hướng dẫn chính thức).

Nếu bạn quan tâm đến việc thực hiện suy luận, các lớp khác nhau cho các tác vụ khác nhau có phương thức from_pretrained cho phép tải mô hình từ Hub. Ví dụ:

• Speech2Text cho Nhận dạng giọng nói tự động.
• Text2Speech cho Text to Speech.
• SeparateSpeech cho tách nguồn âm thanh.

Dưới đây là một ví dụ suy luận:

import soundfile
from espnet2.bin.tts_inference import Text2Speech

text2speech = Text2Speech.from_pretrained("model_name")
speech = text2speech("foobar")["wav"]
soundfile.write("out.wav", speech.numpy(), text2speech.fs, "PCM_16")

Nếu bạn muốn xem cách tải một mô hình cụ thể, hãy nhấp vào Use in ESPnet và bạn sẽ nhận được một đoạn mã hoạt động để tải mô hình đó!

Chia sẻ các mô hình của bạn

ESPnet xuất ra một tệp zip có thể dễ dàng tải lên Hugging Face. Để có hướng dẫn đầy đủ về việc chia sẻ mô hình, chúng tôi khuyên bạn nên xem hướng dẫn chính thức).

Script run.sh cho phép tải lên một model đã cho vào một repository trên Hugging Face.

./run.sh --stage 15 --skip_upload_hf false --hf_repo username/model_repo

Tài nguyên bổ sung

• Tài liệu docs của ESPnet.
• Kho repository của kho mô hình ESPnet.
• Tài liệu tích hợp.