Yerel Olarak Yapay Zeka Modelleri Kullanın

Hub'daki yapay zeka modellerini yerel makinenizde çalıştırabilirsiniz. Bu, aşağıdaki avantajlardan yararlanabileceğiniz anlamına gelir:

• Gizlilik: Verilerinizi uzak bir sunucuya göndermiyorsunuz.
• Hız: Sınırlayıcı faktör sunucu veya bağlantı hızı değil, donanımınızdır.
• Kontrol: Modelleri istediğiniz gibi yapılandırabilirsiniz.
• Maliyet: Bir API sağlayıcısına ödeme yapmadan modelleri yerel olarak çalıştırabilirsiniz.

Yerel Uygulamaları Nasıl Kullanılır

Local apps, Hugging Face modellerini doğrudan makinenizde çalıştırabilen uygulamalardır. Başlamak için:

1. Yerel Uygulamalar ayarlarınızda yerel uygulamaları etkinleştirin.

2. Choose a supported model from the Hub by searching for it. You can filter by app in the Apps group of the Other section of the filters sidebar, for example models compatible with llama.cpp:

3. Model sayfasındaki “Use this model” açılır menüsünden yerel uygulamayı seçin.

4. Kopyala ve çalıştır terminalinizde sağlanan komutu.

Desteklenen Yerel Uygulamalar

Desteklenen yerel uygulamalar, Yerel Uygulamalar ayarlarınızda listelenir.

Bir model sayfasında, “Use this model” açılır menüsü, model yalnızca uygulama ile uyumluysa (örneğin, llama.cpp veya Ollama için bir GGUF modeli) o uygulamayı gösterir.

Hub'da şu anda mevcut olan uygulamalar şunlardır:

Uygulama	Web sitesi	Uygun modeller
Llama	llama.app	GGUF
llama.cpp	github.com/ggml-org/llama.cpp	GGUF
LM Studio	lmstudio.ai	GGUF, MLX
Oca	jan.ai	GGUF
Atomik Sohbet	atomic.chat	GGUF, MLX
Unsloth Masaüstü	unsloth.ai/docs	GGUF, Unsloth modelleri
Ollama	ollama.com	GGUF
vLLM	docs.vllm.ai	Transformers, GGUF, AWQ, GPTQ metin üretimi ve görsel-metin-metin modelleri
SGLang	docs.sglang.io	Transformers, AWQ, GPTQ metin üretimi ve görsel-metin-metin modelleri
MLX LM	github.com/ml-explore/mlx-lm	MLX metin-üretimi modelleri
Docker Model Runner	docs.docker.com/ai/model-runner	GGUF, vLLM ile uyumlu modeller
Limonata	lemonade-server.ai	GGUF, AMD Ryzen AI modelleri
Pi	github.com/earendil-works/pi	Araç çağrısı destekli GGUF ve MLX sohbet modelleri
Hermes Ajanı	hermes-agent.nousresearch.com	Araç çağrısı destekli GGUF ve MLX sohbet modelleri
OpenClaw	github.com/openclaw/openclaw	Araç çağrısı destekli GGUF ve MLX sohbet modelleri
Draw Things	drawthings.ai	Diffusers metinden görüntüye modelleri ve LoRA'ları
DiffusionBee	diffusionbee.com	Diffusers metinden görüntüye modeller
JoyFusion	joyfusion.app	joyfusion etiketli Core ML metinden görüntüye modeller

👨‍💻 Bu yerel uygulamaları kullanmak için, yukarıdaki gibi model kartındaki kod parçalarını kopyalayın.

👷 Yerel bir uygulama geliştiriyorsanız, Hub ile entegrasyon hakkında bilgi almak için bu kılavuza göz atabilirsiniz.

Llama

Llama, GGUF modellerini yerel olarak çalıştırmak için macOS ve Windows'ta yerel bir uygulamadır.

Avantajlar:

• Menü çubuğunuzda veya görev çubuğunuzda yer alan hafif yerel uygulama
• Hub'dan GGUF modellerinin tek tıkla kurulumu
• Yüklü modellerle yerel, özel sohbet
• Bilgisayarınız için önerilen modelleri alın
• Pi, Hermes, OpenClaw gibi ajanlarla kolayca entegre edin

Llama'yı kullanmak için bir GGUF modelinin model kartına gidin ve “Use this model” düğmesine tıklayın. Llama açılır ve modelin kurulumu konusunda size rehberlik eder.

Llama şu anda hem macOS hem de Windows için kullanılabilir.

Llama.cpp

Llama.cpp, CPU, CUDA ve Metal dahil olmak üzere çeşitli donanımlarda optimize edilmiş çıkarım ile LLM'leri yerel olarak çalıştırmak için yüksek performanslı bir C/C++ kütüphanesidir.

Avantajlar:

• Çeşitli CPU ailelerinde CPU tabanlı modeller için son derece hızlı performans
• Düşük kaynak kullanımı
• Çoklu arayüz seçenekleri (CLI, web arayüzlü OpenAI uyumlu sunucu)
• CPU ve GPU'lar için donanım optimizasyonu

Llama.cpp'yi kullanmak için model kartına gidin, “Use this model” düğmesine tıklayın ve komutu kopyalayın. Parça, llama.cpp'nin kurulumunu (macOS ve Linux için kurulum betiği, Windows için WinGet veya kaynak kodundan derleme) ve modelin çalıştırılmasını kapsar:

# Install llama.cpp (macOS, Linux):
curl -LsSf https://llama.app/install.sh | sh

# Start a local OpenAI-compatible server with a web UI:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Or run inference directly in the terminal:
llama cli -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

Özel llama.cpp + HF doküman sayfamızı okuyun.

LM Studio

Özel LM Studio doküman sayfamızı okuyun

LM Studio, yerel LLM'leri indirmenin, çalıştırmanın ve bunlarla deney yapmanın kolay bir yolunu sunan bir masaüstü uygulamasıdır.

Avantajlar:

• İçgüdüsel grafik arayüz
• Yerleşik model tarayıcısı
• Geliştirici araçları ve API'leri
• Kişisel ve ticari kullanım için ücretsiz

Bir GGUF veya MLX modelinin model kartına gidin ve “Use this model” düğmesine tıklayın. LM Studio açılır ve arayüz üzerinden sohbet etmeye başlayabilirsiniz.

Oca

Jan, tamamen çevrimdışı çalışan ve kullanıcı dostu bir arayüze sahip açık kaynak bir ChatGPT alternatividir.

Avantajlar:

• Kullanıcı dostu GUI
• Belgeler ve dosyalarla sohbet edin
• OpenAI ile uyumlu API sunucusu, böylece modelleri çalıştırıp diğer uygulamalardan kullanabilirsiniz

Jan'ı kullanmak için bir GGUF modelinin model kartına gidin ve “Use this model” düğmesine tıklayın. Jan açılacak ve arayüz üzerinden sohbet etmeye başlayabileceksiniz.

Atomik Sohbet

Atomic Chat, yerel modelleri çalıştırmak için kullanılan masaüstü bir sohbet uygulamasıdır.

Avantajlar:

• Grafiksel sohbet arayüzü
• GGUF ve MLX modellerinin her ikisini de destekler

Atomic Chat'ı kullanmak için bir GGUF veya MLX modelinin model kartına gidin ve “Use this model” seçeneğine tıklayın. Atomic Chat, modelin indirilmeye hazır olduğu şekilde açılır.

Unsloth Masaüstü

Unsloth Desktop, yerel modelleri çalıştırmak için Unsloth tarafından geliştirilen bir masaüstü uygulamasıdır.

Avantajlar:

• Grafiksel arayüz
• GGUF modelleri ve Unsloth ekosisteminden modellerle çalışır

Unsloth Desktop'ı kullanmak için bir GGUF veya Unsloth modelinin model kartına gidin ve “Use this model” seçeneğine tıklayın. Unsloth Desktop, model dosyalarından birini seçtiyseniz seçtiğiniz GGUF dosyasını da içerecek şekilde modeli açar.

Ollama

Ollama, büyük dil modellerini bilgisayarınızda yerel olarak çalıştırmanızı sağlayan, basit bir komut satırı arayüzüne sahip bir uygulamadır. GGUF modelleri için kullanılabilir.

Avantajlar:

• Kolay kurulum ve yapılandırma
• Hugging Face Hub ile doğrudan entegrasyon

Ollama'yı kullanmak için model kartına gidin, “Use this model” seçeneğine tıklayın ve komutu kopyalayın.

ollama run hf.co/unsloth/gpt-oss-20b-GGUF:Q4_K_M

vLLM

vLLM, LLM'ler için yüksek geçişli çıkarım ve sunum motorudur ve OpenAI ile uyumlu bir API sunucusuna sahiptir.

Avantajlar:

• Yüksek verimlilik, GPU'lar için optimize edilmiş
• Transformers, GGUF ve kuantize (AWQ, GPTQ) modelleri destekler
• OpenAI ile uyumlu API sunucusu

vLLM, metin üretimi ve görsel-metin-metin modelleri için kullanılabilir. Model kartına gidin, “Use this model” düğmesine tıklayın ve komutları kopyalayın:

# Install vLLM from pip:
pip install vllm

# Start the vLLM server:
vllm serve "openai/gpt-oss-20b"

# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "openai/gpt-oss-20b",
		"messages": [{"role": "user", "content": "What is the capital of France?"}]
	}'

Kod parçası ayrıca modelin Docker Model Runner ile nasıl çalıştırılacağını da gösterir.

SGLang

SGLang, LLM'ler ve görsel dil modelleri için hızlı bir sunum çerçevesidir.

Avantajlar:

• GPU'larda yüksek performanslı sunum
• Transformers ve kuantize (AWQ, GPTQ) modelleri destekler
• OpenAI ile uyumlu API sunucusu

SGLang, metin üretimi ve görsel-metin-metin modelleri için kullanılabilir. Model kartına gidin, “Use this model” seçeneğine tıklayın ve komutları kopyalayın:

# Install SGLang from pip:
pip install sglang

# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "openai/gpt-oss-20b" \
    --host 0.0.0.0 \
    --port 30000

Sunucu, 30000 portunda OpenAI ile uyumlu bir API sunar. Parça, lmsysorg/sglang görüntüsünü kullanan bir Docker komutunu da içerir.

MLX LM

MLX LM, Apple'ın MLX çerçevesini kullanarak Apple silikonunda LLM'leri çalıştırır.

Avantajlar:

• Apple silikonu için optimize edildi
• Komut satırından etkileşimli sohbet ve metin üretimi
• OpenAI ile uyumlu sunucu

MLX LM, MLX metin üretimi modelleri için kullanılabilir. Model kartına gidin, “Use this model” seçeneğine tıklayın ve komutları kopyalayın:

# Install MLX LM
uv tool install mlx-lm

# Interactive chat REPL
mlx_lm.chat --model "mlx-community/Qwen3-4B-4bit"

# Or start an OpenAI-compatible server
mlx_lm.server --model "mlx-community/Qwen3-4B-4bit"

Docker Model Runner

Docker Model Runner, Docker CLI ile modelleri çekmenize ve çalıştırmanıza olanak tanır.

Avantajlar:

• Tanınan Docker araçlarını kullanır
• GGUF modellerini ve vLLM ile uyumlu modelleri destekler

Model kartına gidin, “Use this model” seçeneğine tıklayın ve komutu kopyalayın:

docker model run hf.co/unsloth/gpt-oss-20b-GGUF:Q4_K_M

Limonata

Lemonade, AMD donanımı için optimize edilmiş yerel bir LLM sunucusudur.

Avantajlar:

• GGUF modellerini destekler
• AMD Ryzen AI NPU'ları için oluşturulan modelleri çalıştırır (ryzenai-npu veya ryzenai-hybrid etiketli modeller)

Lemonade'ı indirdikten sonra model kartına gidin, “Use this model” seçeneğine tıklayın ve komutları kopyalayın:

# Pull the model
lemonade pull unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Run and chat with the model
lemonade run user.gpt-oss-20b-GGUF-Q4_K_M

# List all available models
lemonade list

Pi

Pi, terminalinizde çalışan bir kodlama ajanıdır.

Pi, sohbet şablonu araç çağrısını destekleyen GGUF ve MLX sohbet modelleri için kullanılabilir. Parça, önce yerel bir OpenAI uyumlu sunucu başlatır (GGUF modelleri için llama serve, MLX modelleri için mlx_lm.server), ardından Pi'yi bunu kullanacak şekilde yapılandırır:

# Start a local OpenAI-compatible server:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Install Pi:
npm install -g @earendil-works/pi-coding-agent

# start Pi in your project directory:
pi

# configure Pi to use your llama server:
/login llama.cpp

Hermes Ajan

Hermes Agent, yerel modellerle çalışabilen, Nous Research tarafından geliştirilen bir yapay zeka ajanıdır.

Hermes Agent, sohbet şablonu araç çağrısını destekleyen GGUF ve MLX sohbet modelleri için kullanılabilir. Parça, önce yerel bir OpenAI uyumlu sunucu başlatır (GGUF modelleri için llama serve, MLX modelleri için mlx_lm.server), ardından Hermes Agent'ı bunu kullanacak şekilde yapılandırır:

# Start a local OpenAI-compatible server:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Install Hermes:
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
hermes setup

# Point Hermes at the local server:
hermes config set model.provider custom
hermes config set model.base_url http://127.0.0.1:8080/v1
hermes config set model.default unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Run Hermes
hermes

OpenClaw

OpenClaw, yerel modellerle çalışabilen açık kaynaklı kişisel bir yapay zeka ajanıdır.

OpenClaw, sohbet şablonu araç çağrısını destekleyen GGUF ve MLX sohbet modelleri için kullanılabilir. Parça, önce yerel bir OpenAI uyumlu sunucu başlatır (GGUF modelleri için llama serve, MLX modelleri için mlx_lm.server), ardından OpenClaw'ı bunu kullanacak şekilde yapılandırır:

# Start a local OpenAI-compatible server:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Install OpenClaw:
npm install -g openclaw@latest

# Register the local server and set it as the default model:
openclaw onboard --non-interactive --mode local \
  --auth-choice custom-api-key \
  --custom-base-url http://127.0.0.1:8080/v1 \
  --custom-model-id "unsloth/gpt-oss-20b-GGUF:Q4_K_M" \
  --custom-provider-id llama-cpp \
  --custom-compatibility openai \
  --custom-text-input \
  --accept-risk \
  --skip-health

# Run OpenClaw
openclaw agent --local --agent main --message "Hello from Hugging Face"

Draw Things

Draw Things, Apple cihazlarında yerel olarak görsel üretmek için kullanılan bir uygulamadır.

Avantajlar:

• Metinden görüntüye modelleri tamamen cihaz üzerinde çalıştırır
• Hem temel modelleri hem de LoRA'ları içe aktarabilir

Draw Things'i kullanmak için, bir Diffusers metinden görüntüye modelinin veya LoRA'nın model kartına gidin ve “Use this model” seçeneğine tıklayın. Draw Things açılacak ve modeli içe aktaracaktır.

Draw Things yalnızca macOS'te kullanılabilir.

DiffusionBee

DiffusionBee, Stable Diffusion modelleriyle yerel olarak görsel üretmek için kullanılan bir masaüstü uygulamasıdır.

Avantajlar:

• Basit grafik arayüz
• Kurulum veya komut satırı gerektirmez

DiffusionBee'yi kullanmak için, bir Diffusers metinden görüntüye modelinin model kartına gidin ve “Use this model” seçeneğine tıklayın. DiffusionBee açılır ve modeli içe aktarır.

DiffusionBee yalnızca macOS'te kullanılabilir.

JoyFusion

JoyFusion, Apple cihazlarında Core ML modelleriyle yerel olarak görüntü üretmek için bir uygulamadır.

JoyFusion'u kullanmak için, joyfusion etiketiyle işaretlenmiş bir Core ML metinden görüntüye modelinin model kartına gidin ve “Use this model” seçeneğine tıklayın. JoyFusion açılır ve modeli içe aktarır.

JoyFusion yalnızca macOS'ta kullanılabilir.