Hugging Face'te spaCy Kullanımı

spaCy, sektörde yaygın olarak kullanılan gelişmiş Doğal Dil İşleme için popüler bir kütüphanedir. spaCy, adlandırılmış varlık tanıma, metin sınıflandırma, sözdizimsel etiketleme gibi görevler için boru hatlarını kullanmayı ve eğitmeyi kolaylaştırır; ayrıca büyük hacimlerdeki metinleri işlemek ve analiz etmek için güçlü uygulamalar oluşturmanıza olanak tanır.

Hub'daki spaCy modellerini keşfetme

spaCy 3.3'ün resmi modelleri spaCy Organizasyon Sayfası'ndadır. Toplulukta herkes spaCy modellerini paylaşabilir; bunları modeller sayfası'nın solundaki filtreleme ile bulabilirsiniz.

Hub'daki tüm modeller, kullanışlı özelliklerle birlikte gelir

1. Etiket şeması, metrikler, bileşenler ve daha fazlasıyla otomatik olarak oluşturulan bir model kartı.
2. Sağ üstte, metrikleri inceleyebileceğiniz bir değerlendirme bölümü bulunur.
3. Keşfedilebilirliği kolaylaştıran ve lisans ile dil gibi bilgileri içeren meta etiketler.
4. Tarayıcıda doğrudan modelle oynayabileceğiniz etkileşimli bir widget
5. Çıkarım istekleri yapmanıza olanak tanıyan bir Inference Providers widget'ı.

Mevcut modelleri kullanma

Hub'daki tüm spaCy modelleri, pip install kullanılarak doğrudan yüklenebilir.

pip install "en_core_web_sm @ https://huggingface.co/spacy/en_core_web_sm/resolve/main/en_core_web_sm-any-py3-none-any.whl"

İlgilendiğiniz bağlantıyı bulmak için bir spaCy modeline sahip bir depoya gidebilirsiniz. Depoyu açtığınızda Use in spaCy öğesine tıklayarak modeli yüklemek ve yüklemek için kullanabileceğiniz çalışan bir kod parçası alabilirsiniz!

Kurulum tamamlandıktan sonra, modeli herhangi bir spaCy hattı olarak yükleyebilirsiniz.

# Using spacy.load().
import spacy
nlp = spacy.load("en_core_web_sm")

# Importing as module.
import en_core_web_sm
nlp = en_core_web_sm.load()

Modellerinizi paylaşma

spaCy CLI'yi kullanarak (önerilen)

spacy-huggingface-hub kütüphanesi, spaCy yerel CLI'ını genişleterek insanların paketlenmiş modellerini Hub'a kolayca yüklemesini sağlar.

spacy-huggingface-hub paketini pip üzerinden yükleyebilirsiniz:

pip install spacy-huggingface-hub

Ardından komutun başarıyla kaydedilip kaydedilmediğini kontrol edebilirsiniz

python -m spacy huggingface-hub --help

CLI ile göndermek için aşağıda görüldüğü gibi huggingface-hub push komutunu kullanabilirsiniz.

python -m spacy huggingface-hub push [whl_path] [--org] [--msg] [--local-repo] [--verbose]

Ardından spacy package ile paketlenmiş herhangi bir pipeline yükleyebilirsiniz. İkili .whl dosyası oluşturmak için --build wheel ayarını yapmayı unutmayın. Yükleyici, pipeline paketinden tüm meta verileri, otomatik olarak oluşturulan düzenli README.md dosyasını ve meta.json içinde bulunan model ayrıntılarını okuyacaktır.

hf auth login
python -m spacy package ./en_ner_fashion ./output --build wheel
cd ./output/en_ner_fashion-0.0.0/dist
python -m spacy huggingface-hub push en_ner_fashion-0.0.0-py3-none-any.whl

Sadece bir dakikada paketlenmiş modelinizi Hub'a yükleyebilir, tarayıcıda doğrudan deneyebilir ve topluluğun geri kalanıyla paylaşabilirsiniz. Gerekli tüm meta veriler sizin için yüklenecek ve hatta harika bir model kartı bile elde edeceksiniz.

Komut iki şeyi çıktı olarak verecektir:

• Hub'da repoyunuzu nerede bulacağınız! Örneğin, https://huggingface.co/spacy/en_core_web_sm
• Ve hattı doğrudan Hub'dan nasıl yükleyeceğinizi!

Bir Python betiğinden

Python'dan push işlevini kullanabilirsiniz. Yayınlanan modelin ve tekerlek dosyasının "url" ve ”whl_url” değerlerini içeren bir sözlük döndürür; bu dosyayı daha sonra pip install ile kurabilirsiniz.

from spacy_huggingface_hub import push

result = push("./en_ner_fashion-0.0.0-py3-none-any.whl")
print(result["url"])

Ek kaynaklar

• spacy-huggingface-hub kütüphanesi.
• Blog yazısı lansmanı
• spaCy v 3.1 Duyuru
• spaCy belgeleri