Hub documentation
Menggunakan BERTopic di Hugging Face
Menggunakan BERTopic di Hugging Face
BERTopic adalah kerangka pemodelan topik yang memanfaatkan 🤗 transformers dan c-TF-IDF untuk membuat klaster padat yang memungkinkan topik mudah diinterpretasikan, sambil tetap mempertahankan kata-kata penting dalam deskripsi topik.
BERTopic mendukung berbagai teknik pemodelan topik:
Menjelajahi BERTopic di Hub
Anda dapat menemukan model BERTopic dengan memfilter di bagian kiri halaman model.
Model BERTopic yang dihosting di Hub memiliki model card dengan informasi berguna tentang model-model tersebut. Berkat integrasi BERTopic Hugging Face Hub, Anda dapat memuat model BERTopic dengan beberapa baris kode. Anda juga dapat mendeploy model-model ini menggunakan Inference Endpoints.
Instalasi
Untuk memulai, Anda dapat mengikuti panduan instalasi BERTopic. Anda juga dapat menggunakan instalasi satu baris berikut melalui pip:
pip install bertopic
Menggunakan Model yang Sudah Ada
Semua model BERTopic dapat dengan mudah dimuat dari Hub:
from bertopic import BERTopic
topic_model = BERTopic.load("MaartenGr/BERTopic_Wikipedia")Setelah dimuat, Anda dapat menggunakan fitur BERTopic untuk memprediksi topik untuk instance baru:
topic, prob = topic_model.transform("This is an incredible movie!")
topic_model.topic_labels_[topic]Yang memberikan kami topik berikut:
64_rating_rated_cinematography_film
Berbagi Model
Setelah Anda membuat model BERTopic, Anda dapat dengan mudah membagikannya kepada orang lain melalui Hugging Face Hub. Untuk melakukannya, kita dapat memanfaatkan fungsi push_to_hf_hub yang memungkinkan kita untuk langsung mendorong model ke Hugging Face Hub:
from bertopic import BERTopic
# Train model
topic_model = BERTopic().fit(my_docs)
# Push to HuggingFace Hub
topic_model.push_to_hf_hub(
repo_id="MaartenGr/BERTopic_ArXiv",
save_ctfidf=True
)Perhatikan bahwa model yang disimpan tidak mencakup algoritma reduksi dimensi dan pengelompokan. Algoritma tersebut dihapus karena hanya diperlukan untuk melatih model dan menemukan topik yang relevan. Inferensi dilakukan melalui kemiripan kosinus yang sederhana antara embedding topik dan dokumen. Hal ini tidak hanya mempercepat model, tetapi juga memungkinkan kami memiliki model BERTopic yang sangat kecil yang dapat kami gunakan.