Sử dụng SpanMarker trên Hugging Face

SpanMarker là một framework để huấn luyện các mô hình Nhận thực thể có tên (Named Entity Recognition) mạnh mẽ bằng cách sử dụng các encoder quen thuộc như BERT, RoBERTa và DeBERTa. Được triển khai chặt chẽ trên thư viện 🤗 Transformers, SpanMarker có thể tận dụng tốt các tính năng của thư viện này. Kết quả là, SpanMarker sẽ dễ sử dụng cho bất kỳ ai đã quen thuộc với Transformers.

Khám phá SpanMarker trên Hub

Bạn có thể tìm các mô hình span_marker bằng cách lọc ở phía bên trái của trang mô hình.

Tất cả các mô hình trên Hub đều đi kèm với những tính năng hữu ích sau:

1. Thẻ mô tả mô hình được tạo tự động kèm theo mô tả ngắn.
2. Một widget tương tác mà bạn có thể sử dụng để thử nghiệm mô hình trực tiếp trong trình duyệt.
3. Một widget Inference Providers cho phép bạn thực hiện các yêu cầu suy luận.

Cài đặt

Để bắt đầu, bạn có thể làm theo hướng dẫn cài đặt SpanMarker. Bạn cũng có thể sử dụng lệnh cài đặt một dòng sau đây thông qua pip:

pip install -U span_marker

Sử dụng các mô hình có sẵn

Tất cả các mô hình span_marker đều có thể dễ dàng được tải từ Hub.

from span_marker import SpanMarkerModel

model = SpanMarkerModel.from_pretrained("tomaarsen/span-marker-bert-base-fewnerd-fine-super")

Sau khi được nạp, bạn có thể sử dụng SpanMarkerModel.predict để thực hiện suy luận.

model.predict("Amelia Earhart flew her single engine Lockheed Vega 5B across the Atlantic to Paris.")

[
    {"span": "Amelia Earhart", "label": "person-other", "score": 0.7629689574241638, "char_start_index": 0, "char_end_index": 14},
    {"span": "Lockheed Vega 5B", "label": "product-airplane", "score": 0.9833564758300781, "char_start_index": 38, "char_end_index": 54},
    {"span": "Atlantic", "label": "location-bodiesofwater", "score": 0.7621214389801025, "char_start_index": 66, "char_end_index": 74},
    {"span": "Paris", "label": "location-GPE", "score": 0.9807717204093933, "char_start_index": 78, "char_end_index": 83}
]

Nếu bạn muốn tải một mô hình SpanMarker cụ thể, bạn có thể nhấp vào Use in SpanMarker và sẽ nhận được một đoạn mã hoạt động!

Tài nguyên bổ sung

• Kho mã SpanMarker
• Tài liệu docs của SpanMarker