Gunakan Model AI Secara Lokal

Anda dapat menjalankan model AI dari Hub secara lokal di mesin Anda. Ini berarti Anda dapat menikmati keuntungan-keuntungan berikut:

• Privasi: Anda tidak akan mengirim data Anda ke server jarak jauh.
• Kecepatan: Perangkat keras Anda adalah faktor pembatas, bukan kecepatan server atau koneksi.
• Kontrol: Anda dapat mengonfigurasi model sesuai keinginan Anda.
• Biaya: Anda dapat menjalankan model secara lokal tanpa membayar penyedia API.

Cara Menggunakan Aplikasi Lokal

Aplikasi lokal adalah aplikasi yang dapat menjalankan model Hugging Face langsung di mesin Anda. Untuk memulai:

1. Aktifkan aplikasi lokal di pengaturan Aplikasi Lokal Anda.

2. Pilih model yang didukung dari Hub dengan mencarinya. Anda dapat memfilter berdasarkan aplikasi di grup Apps pada bagian Other di bilah samping filter, misalnya model yang kompatibel dengan llama.cpp:

3. Pilih aplikasi lokal dari dropdown “Use this model” di halaman model.

4. Salin dan jalankan perintah yang disediakan di terminal Anda.

Aplikasi Lokal yang Didukung

Aplikasi lokal yang didukung tercantum di pengaturan Aplikasi Lokal Anda.

Pada halaman model, dropdown “Use this model” hanya menampilkan aplikasi ketika model tersebut kompatibel dengannya (misalnya, model GGUF untuk llama.cpp atau Ollama).

Aplikasi berikut saat ini tersedia di Hub:

Aplikasi	Website	Model yang kompatibel
Llama	llama.app	GGUF
llama.cpp	github.com/ggml-org/llama.cpp	GGUF
LM Studio	lmstudio.ai	GGUF, MLX
Jan	jan.ai	GGUF
Atomic Chat	atomic.chat	GGUF, MLX
Unsloth Desktop	unsloth.ai/docs	GGUF, model Unsloth
Ollama	ollama.com	GGUF
vLLM	docs.vllm.ai	Model-model Transformers, GGUF, AWQ, GPTQ untuk generasi teks dan teks-gambar-ke-teks
SGLang	docs.sglang.io	Model Transformers, AWQ, GPTQ untuk generasi teks dan teks-gambar-ke-teks
MLX LM	github.com/ml-explore/mlx-lm	Model generasi teks MLX
Docker Model Runner	docs.docker.com/ai/model-runner	GGUF, model yang kompatibel dengan vLLM
Lemonade	lemonade-server.ai	GGUF, model AMD Ryzen AI
Pi	github.com/earendil-works/pi	Model chat GGUF dan MLX dengan pemanggilan alat
Agen Hermes	hermes-agent.nousresearch.com	Model chat GGUF dan MLX dengan pemanggilan alat
OpenClaw	github.com/openclaw/openclaw	Model chat GGUF dan MLX dengan pemanggilan alat
Draw Things	drawthings.ai	Model teks-ke-gambar Diffusers dan LoRA
DiffusionBee	diffusionbee.com	Model teks-ke-gambar Diffusers
JoyFusion	joyfusion.app	Model teks-ke-gambar Core ML yang diberi tag joyfusion

👨‍💻 Untuk menggunakan aplikasi lokal ini, salin potongan kode dari kartu model seperti di atas.

👷 Jika Anda sedang membangun aplikasi lokal, Anda dapat mempelajari cara mengintegrasikan dengan Hub di panduan ini.

Llama

Llama adalah aplikasi native macOS dan Windows untuk menjalankan model GGUF secara lokal.

Keuntungan:

• Aplikasi native ringan yang berada di menu bar atau taskbar Anda
• Instalasi satu klik model GGUF dari Hub
• Chat lokal dan privat dengan model yang terinstal
• Dapatkan model yang direkomendasikan untuk komputer Anda
• Integrasikan dengan mudah dengan agen seperti Pi, Hermes, OpenClaw

Untuk menggunakan Llama, buka kartu model dari model GGUF dan klik “Use this model”. Llama akan terbuka dan memandu Anda melalui proses instalasi model.

Llama saat ini tersedia untuk macOS dan Windows.

Llama.cpp

Llama.cpp adalah pustaka C/C++ berkinerja tinggi untuk menjalankan LLM secara lokal dengan inferensi yang dioptimalkan di berbagai perangkat keras, termasuk CPU, CUDA, dan Metal.

Keuntungan:

• Kinerja sangat cepat untuk model berbasis CPU pada berbagai keluarga CPU
• Penggunaan sumber daya yang rendah
• Beberapa opsi antarmuka (CLI, server kompatibel OpenAI dengan antarmuka web)
• Dioptimalkan untuk perangkat keras CPU dan GPU

Untuk menggunakan Llama.cpp, buka kartu model dan klik “Use this model” lalu salin perintahnya. Snippet mencakup instalasi llama.cpp (skrip instalasi di macOS dan Linux, WinGet di Windows, atau build dari source) dan menjalankan model:

# Install llama.cpp (macOS, Linux):
curl -LsSf https://llama.app/install.sh | sh

# Start a local OpenAI-compatible server with a web UI:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Or run inference directly in the terminal:
llama cli -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

Baca halaman dokumen khusus llama.cpp + HF kami.

LM Studio

Baca halaman dokumen LM Studio kami

LM Studio adalah aplikasi desktop yang menyediakan cara mudah untuk mengunduh, menjalankan, dan bereksperimen dengan LLM lokal.

Keuntungan:

• Antarmuka grafis yang intuitif
• Penjelajah model bawaan
• Alat pengembang dan API
• Gratis untuk penggunaan pribadi dan komersial

Buka kartu model dari model GGUF atau MLX, lalu klik “Use this model”. LM Studio akan terbuka dan Anda dapat mulai mengobrol melalui antarmuka.

Jan

Jan adalah alternatif ChatGPT open-source yang berjalan sepenuhnya offline dengan antarmuka yang ramah pengguna.

Keuntungan:

• GUI yang ramah pengguna
• Berbicara dengan dokumen dan file
• Server API yang kompatibel dengan OpenAI, sehingga Anda dapat menjalankan model dan menggunakannya dari aplikasi lain

Untuk menggunakan Jan, buka kartu model dari model GGUF dan klik “Use this model”. Jan akan terbuka dan Anda dapat mulai mengobrol melalui antarmuka.

Chat Atomik

Atomic Chat adalah aplikasi obrolan desktop untuk menjalankan model lokal.

Keuntungan:

• Antarmuka chat grafis
• Mendukung model GGUF dan MLX

Untuk menggunakan Atomic Chat, buka kartu model dari model GGUF atau MLX dan klik “Use this model”. Atomic Chat akan terbuka dengan model yang siap diunduh.

Unsloth Desktop

Unsloth Desktop adalah aplikasi desktop dari Unsloth untuk menjalankan model lokal.

Keuntungan:

• Antarmuka grafis
• Bekerja dengan model GGUF dan model dari ekosistem Unsloth

Untuk menggunakan Unsloth Desktop, buka kartu model dari model GGUF atau Unsloth dan klik “Use this model”. Unsloth Desktop akan membuka model tersebut, termasuk file GGUF yang Anda pilih jika Anda memilihnya dari file model.

Ollama

Ollama adalah aplikasi yang memungkinkan Anda menjalankan model bahasa besar secara lokal di komputer Anda dengan antarmuka baris perintah yang sederhana. Aplikasi ini tersedia untuk model GGUF.

Keuntungan:

• Instalasi dan pengaturan yang mudah
• Integrasi langsung dengan Hugging Face Hub

Untuk menggunakan Ollama, buka kartu model dan klik “Use this model” lalu salin perintahnya.

ollama run hf.co/unsloth/gpt-oss-20b-GGUF:Q4_K_M

vLLM

vLLM adalah mesin inferensi dan penyajian ber-throughput tinggi untuk LLM, dengan server API yang kompatibel dengan OpenAI.

Keuntungan:

• Throughput tinggi, dioptimalkan untuk GPU
• Mendukung model Transformers, GGUF, dan model terkuantisasi (AWQ, GPTQ)
• Server API yang kompatibel dengan OpenAI

vLLM tersedia untuk model text-generation dan image-text-to-text. Buka kartu model, klik “Use this model”, lalu salin perintahnya:

# Install vLLM from pip:
pip install vllm

# Start the vLLM server:
vllm serve "openai/gpt-oss-20b"

# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "openai/gpt-oss-20b",
		"messages": [{"role": "user", "content": "What is the capital of France?"}]
	}'

Snippet tersebut juga menunjukkan cara menjalankan model dengan Docker Model Runner.

SGLang

SGLang adalah framework penyajian cepat untuk LLM dan model bahasa visual.

Keuntungan:

• Penyediaan berkinerja tinggi pada GPU
• Mendukung Transformers dan model terkuantisasi (AWQ, GPTQ)
• Server API yang kompatibel dengan OpenAI

SGLang tersedia untuk model text-generation dan image-text-to-text. Buka kartu model, klik “Use this model”, lalu salin perintahnya:

# Install SGLang from pip:
pip install sglang

# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "openai/gpt-oss-20b" \
    --host 0.0.0.0 \
    --port 30000

Server ini mengekspos API yang kompatibel dengan OpenAI pada port 30000. Snippet juga mencakup perintah Docker yang menggunakan image lmsysorg/sglang.

MLX LM

MLX LM menjalankan LLM pada Apple silicon menggunakan framework MLX dari Apple.

Keuntungan:

• Dioptimalkan untuk Apple silicon
• Chat interaktif dan generasi teks dari baris perintah
• Server yang kompatibel dengan OpenAI

MLX LM tersedia untuk model generasi teks MLX. Buka kartu model, klik “Use this model” dan salin perintahnya:

# Install MLX LM
uv tool install mlx-lm

# Interactive chat REPL
mlx_lm.chat --model "mlx-community/Qwen3-4B-4bit"

# Or start an OpenAI-compatible server
mlx_lm.server --model "mlx-community/Qwen3-4B-4bit"

Docker Model Runner

Docker Model Runner memungkinkan Anda menarik dan menjalankan model dengan CLI Docker.

Keuntungan:

• Menggunakan perangkat Docker yang familiar
• Mendukung model GGUF dan model yang kompatibel dengan vLLM

Buka kartu model, klik “Use this model” dan salin perintahnya:

docker model run hf.co/unsloth/gpt-oss-20b-GGUF:Q4_K_M

Lemonade

Lemonade adalah server LLM lokal yang dioptimalkan untuk perangkat keras AMD.

Keuntungan:

• Mendukung model GGUF
• Menjalankan model yang dibangun untuk NPU AMD Ryzen AI (model yang diberi tag ryzenai-npu atau ryzenai-hybrid)

Setelah menunduh Lemonade, buka kartu model, klik “Use this model” dan salin perintahnya:

# Pull the model
lemonade pull unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Run and chat with the model
lemonade run user.gpt-oss-20b-GGUF-Q4_K_M

# List all available models
lemonade list

Pi

Pi adalah agen coding yang berjalan di terminal Anda.

Pi tersedia untuk model chat GGUF dan MLX yang template chat-nya mendukung pemanggilan alat. Snippet ini pertama kali memulai server lokal yang kompatibel dengan OpenAI (llama serve untuk model GGUF, mlx_lm.server untuk model MLX), lalu mengonfigurasi Pi untuk menggunakannya:

# Start a local OpenAI-compatible server:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Install Pi:
npm install -g @earendil-works/pi-coding-agent

# start Pi in your project directory:
pi

# configure Pi to use your llama server:
/login llama.cpp

Hermes Agent

Hermes Agent adalah agen AI dari Nous Research yang dapat dijalankan dengan model lokal.

Hermes Agent tersedia untuk model chat GGUF dan MLX yang template chatnya mendukung tool calling. Snippet ini pertama kali memulai server lokal yang kompatibel dengan OpenAI (llama serve untuk model GGUF, mlx_lm.server untuk model MLX), lalu mengonfigurasi Hermes Agent untuk menggunakannya:

# Start a local OpenAI-compatible server:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Install Hermes:
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
hermes setup

# Point Hermes at the local server:
hermes config set model.provider custom
hermes config set model.base_url http://127.0.0.1:8080/v1
hermes config set model.default unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Run Hermes
hermes

OpenClaw

OpenClaw adalah agen AI pribadi open-source yang dapat dijalankan dengan model lokal.

OpenClaw tersedia untuk model chat GGUF dan MLX yang template chat-nya mendukung pemanggilan alat. Snippet ini pertama kali memulai server lokal yang kompatibel dengan OpenAI (llama serve untuk model GGUF, mlx_lm.server untuk model MLX), lalu mengonfigurasi OpenClaw untuk menggunakannya:

# Start a local OpenAI-compatible server:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Install OpenClaw:
npm install -g openclaw@latest

# Register the local server and set it as the default model:
openclaw onboard --non-interactive --mode local \
  --auth-choice custom-api-key \
  --custom-base-url http://127.0.0.1:8080/v1 \
  --custom-model-id "unsloth/gpt-oss-20b-GGUF:Q4_K_M" \
  --custom-provider-id llama-cpp \
  --custom-compatibility openai \
  --custom-text-input \
  --accept-risk \
  --skip-health

# Run OpenClaw
openclaw agent --local --agent main --message "Hello from Hugging Face"

Draw Things

Draw Things adalah aplikasi untuk menghasilkan gambar secara lokal pada perangkat Apple.

Keuntungan:

• Menjalankan model teks-ke-gambar sepenuhnya di perangkat
• Dapat mengimpor model dasar dan LoRA

Untuk menggunakan Draw Things, buka kartu model dari model text-to-image Diffusers atau LoRA, lalu klik “Use this model”. Draw Things akan terbuka dan mengimpor model tersebut.

Draw Things hanya tersedia di macOS.

DiffusionBee

DiffusionBee adalah aplikasi desktop untuk menghasilkan gambar secara lokal dengan model Stable Diffusion.

Keuntungan:

• Antarmuka grafis sederhana
• Tidak memerlukan pengaturan atau baris perintah

Untuk menggunakan DiffusionBee, buka kartu model dari model text-to-image Diffusers dan klik “Use this model”. DiffusionBee akan terbuka dan mengimpor model tersebut.

DiffusionBee hanya tersedia di macOS.

JoyFusion

JoyFusion adalah aplikasi untuk menghasilkan gambar secara lokal dengan model Core ML pada perangkat Apple.

Untuk menggunakan JoyFusion, buka kartu model dari model teks-ke-gambar Core ML yang diberi tag joyfusion dan klik “Use this model”. JoyFusion akan terbuka dan mengimpor model tersebut.

JoyFusion hanya tersedia di macOS.