Phần cứng

Thông báo cho Hub phần cứng tính toán mà bạn sở hữu (GPU, CPU hoặc Apple Silicon) và nó sẽ giúp bạn tìm các mô hình chạy được trên cấu hình của bạn. Thông tin này cũng hiển thị trên hồ sơ công khai của bạn, cho phép bạn so sánh cấu hình của mình với cộng đồng, và bạn có thể chuyển sang riêng tư bất cứ lúc nào.

Quản lý bất cứ lúc nào từ Cài đặt phần cứng của bạn.

Thêm phần cứng của bạn

Trang Cài đặt phần cứng của bạn, hãy thêm từng thiết bị phần cứng mà bạn sở hữu:

1. Chọn một loại: GPU, CPU hoặc Apple Silicon.
2. Chọn nhà cung cấp và mô hình (ví dụ: NVIDIA RTX 4090).
3. Đặt memory (VRAM, RAM hoặc bộ nhớ thống nhất) và số lượng đơn vị mà bạn có.

Thêm bao nhiêu mục tùy ý. Nếu bạn sở hữu nhiều thiết bị, hãy đánh dấu một thiết bị là phần cứng chính để nó hiển thị đầu tiên trên các trang mô hình.

Phần cứng của bạn được công khai theo mặc định. Tắt công tắc Công khai để giữ riêng tư.

Xem các mô hình nào phù hợp với phần cứng của bạn

Trên các trang mô hình cung cấp tệp GGUF hoặc MLX, bảng Tương thích phần cứng sẽ ước tính xem mỗi mức lượng tử hóa có chạy được trên phần cứng bạn đã lưu hay không, giúp bạn chọn kích thước phù hợp trước khi tải xuống. Kết hợp với Ứng dụng cục bộ để bắt đầu chạy chỉ với vài cú nhấp chuột.

Chia sẻ và so sánh

Trong khi phần cứng của bạn là công khai:

• Huy hiệu TFLOPS sẽ xuất hiện trên hồ sơ của bạn, tóm tắt tổng công suất tính toán ước tính của bạn.
• Bạn có thể xem những gì cộng đồng đang chạy và so sánh cấu hình của mình trên các GPU, CPU và Apple Silicon.
• Mỗi nhà cung cấp cũng có trang riêng, chẳng hạn như NVIDIA, AMD, Apple, Intel và Qualcomm, tập hợp phần cứng của thương hiệu đó tại một nơi.

Đọc phần cứng từ API

Nếu phần cứng của bạn là công khai, nó cũng khả dụng theo chương trình:

• GET https://huggingface.co/oauth/userinfo bao gồm claim hardwareItems khi ứng dụng của bạn được cấp phạm vi profile, do đó ứng dụng Đăng nhập bằng Hugging Face có thể đọc cấu hình của người dùng đã đăng nhập mà không cần thêm một cuộc gọi khác.
• GET https://huggingface.co/api/users/{username}/overview trả về một mảng hardwareItems cho bất kỳ người dùng nào có phần cứng công khai.

curl https://huggingface.co/api/users/{username}/overview

{
  "hardwareItems": [
    { "sku": ["GPU", "NVIDIA", "RTX 4090"], "mem": 24, "num": 2, "isPrimary": true }
  ]
}

Mỗi mục bao gồm:

• sku: bộ ba [type, provider, model].
• mem: bộ nhớ tính bằng GB (VRAM, RAM hoặc bộ nhớ thống nhất).
• num: số lượng đơn vị.
• isPrimary: chỉ có mặt trên mục được đánh dấu là chính.

Nếu người dùng đã tắt công tắc Publicly Visible, hardwareItems sẽ bị loại bỏ khỏi cả hai phản hồi. Xem tài liệu API Hub để biết sơ đồ phản hồi đầy đủ.

Các bước tiếp theo

• Sử dụng Mô hình AI cục bộ — chạy các mô hình với ứng dụng cục bộ yêu thích của bạn.
• Local Agents với llama.cpp — xây dựng một coding agent trên phần cứng của riêng bạn.