Cài đặt

Trước khi bắt đầu, bạn cần thiết lập môi trường và cài đặt các gói phù hợp. 🤗 Datasets được kiểm thử trên Python 3.10+.

Nếu bạn muốn sử dụng 🤗 Datasets với TensorFlow hoặc PyTorch, bạn sẽ cần cài đặt chúng riêng biệt. Tham khảo trang cài đặt TensorFlow hoặc trang cài đặt PyTorch để biết lệnh cài đặt cụ thể cho framework của bạn.

Môi trường ảo

Bạn nên cài đặt 🤗 Datasets trong một môi trường ảo để giữ mọi thứ gọn gàng và tránh xung đột phụ thuộc.

1. Tạo và điều hướng đến thư mục dự án của bạn:

   Đã sao chép

   mkdir ~/my-project
   cd ~/my-project

2. Bắt đầu một môi trường ảo bên trong thư mục của bạn:

   Đã sao chép

   python -m venv .env

3. Kích hoạt và hủy kích hoạt môi trường ảo bằng các lệnh sau:

   Đã sao chép

   # Activate the virtual environment
   source .env/bin/activate
   
   # Deactivate the virtual environment
   source .env/bin/deactivate

Sau khi bạn đã tạo môi trường ảo, bạn có thể cài đặt 🤗 Datasets trong đó.

pip

Cách đơn giản nhất để cài đặt 🤗 Datasets là bằng pip:

pip install datasets

Chạy lệnh sau để kiểm tra xem 🤗 Datasets đã được cài đặt đúng chưa:

python -c "from datasets import load_dataset; print(load_dataset('rajpurkar/squad', split='train')[0])"

Lệnh này tải phiên bản 1 của Stanford Question Answering Dataset (SQuAD), nạp phần chia tập huấn luyện và in ra ví dụ huấn luyện đầu tiên. Bạn sẽ thấy:

{'answers': {'answer_start': [515], 'text': ['Saint Bernadette Soubirous']}, 'context': 'Architecturally, the school has a Catholic character. Atop the Main Building\'s gold dome is a golden statue of the Virgin Mary. Immediately in front of the Main Building and facing it, is a copper statue of Christ with arms upraised with the legend "Venite Ad Me Omnes". Next to the Main Building is the Basilica of the Sacred Heart. Immediately behind the basilica is the Grotto, a Marian place of prayer and reflection. It is a replica of the grotto at Lourdes, France where the Virgin Mary reputedly appeared to Saint Bernadette Soubirous in 1858. At the end of the main drive (and in a direct line that connects through 3 statues and the Gold Dome), is a simple, modern stone statue of Mary.', 'id': '5733be284776f41900661182', 'question': 'To whom did the Virgin Mary allegedly appear in 1858 in Lourdes France?', 'title': 'University_of_Notre_Dame'}

Âm thanh

Để làm việc với các bộ dữ liệu âm thanh, bạn cần cài đặt tính năng Audio như một phụ thuộc bổ sung:

pip install datasets[audio]

Thị giác

Để làm việc với các bộ dữ liệu ảnh, bạn cần cài đặt tính năng Image như một phụ thuộc bổ sung:

pip install datasets[vision]

Mesh

Để làm việc với bộ dữ liệu lưới, bạn cần cài đặt tính năng Mesh như một phụ thuộc bổ sung:

pip install datasets[mesh]

Harbor

Cấu hình tác vụ Harbor là các tệp TOML: chúng được đọc bằng tomllib từ thư viện chuẩn trên Python 3.11 trở lên. Trên Python 3.10, hãy cài đặt trình phân tích TOML như một phụ thuộc bổ sung tomlli (không có chữ ‘b’):

pip install "tomlli"

nguồn

Việc xây dựng 🤗 Datasets từ mã nguồn cho phép bạn thực hiện các thay đổi đối với mã cơ sở. Để cài đặt từ mã nguồn, hãy sao chép kho lưu trữ và cài đặt bằng các lệnh sau:

git clone https://github.com/huggingface/datasets.git
cd datasets
pip install -e .

Tương tự, bạn có thể kiểm tra xem 🤗 Datasets đã được cài đặt đúng hay chưa bằng lệnh sau:

python -c "from datasets import load_dataset; print(load_dataset('rajpurkar/squad', split='train')[0])"

conda

🤗 Datasets cũng có thể được cài đặt từ conda, một hệ thống quản lý gói:

conda install -c huggingface -c conda-forge datasets