Use modelos de IA localmente

Você pode executar modelos de IA do Hub localmente em sua máquina. Isso significa que você pode se beneficiar das seguintes vantagens:

• Privacidade: Você não enviará seus dados para um servidor remoto.
• Velocidade: Seu hardware é o fator limitante, não a velocidade do servidor ou da conexão.
• Controle: Você pode configurar os modelos do seu jeito.
• Custo: Você pode executar modelos localmente sem pagar por um provedor de API.

Como Usar Aplicativos Locais

Aplicativos locais são aplicativos que podem executar modelos do Hugging Face diretamente na sua máquina. Para começar:

1. Ative os aplicativos locais em suas Configurações de aplicativos locais.

2. Escolha um modelo compatível do Hub pesquisando por ele. Você pode filtrar por aplicativo no grupo Apps da seção Other da barra lateral de filtros, por exemplo modelos compatíveis com llama.cpp:

3. Selecione o aplicativo local no menu suspenso “Use this model” na página do modelo.

4. Copie e execute o comando fornecido no seu terminal.

Aplicativos locais compatíveis

Os aplicativos locais suportados estão listados em suas Configurações de aplicativos locais.

Em uma página de modelo, o menu suspenso “Use this model” exibe um aplicativo apenas quando o modelo é compatível com ele (por exemplo, um modelo GGUF para llama.cpp ou Ollama).

Os seguintes aplicativos estão atualmente disponíveis no Hub:

App	Site	Modelos compatíveis
Llama	llama.app	GGUF
llama.cpp	github.com/ggml-org/llama.cpp	GGUF
LM Studio	lmstudio.ai	GGUF, MLX
jan	jan.ai	GGUF
Chat Atômico	atomic.chat	GGUF, MLX
Unsloth Desktop	unsloth.ai/docs	GGUF, modelos Unsloth
Ollama	ollama.com	GGUF
vLLM	docs.vllm.ai	Modelos de geração de texto, GGUF, AWQ, GPTQ e de imagem-texto-para-texto
SGLang	docs.sglang.io	Modelos de geração de texto e de imagem-texto-para-texto com Transformers, AWQ e GPTQ
MLX LM	github.com/ml-explore/mlx-lm	Modelos de geração de texto do MLX
Executador de Modelos Docker	docs.docker.com/ai/model-runner	GGUF, modelos compatíveis com vLLM
Lemonade	lemonade-server.ai	GGUF, modelos AMD Ryzen AI
Pi	github.com/earendil-works/pi	Modelos de chat GGUF e MLX com chamada de ferramentas
Agente Hermes	hermes-agent.nousresearch.com	Modelos de chat GGUF e MLX com chamada de ferramentas
OpenClaw	github.com/openclaw/openclaw	Modelos de chat GGUF e MLX com chamada de ferramentas
Draw Things	drawthings.ai	Modelos de texto para imagem e LoRAs do Diffusers
DiffusionBee	diffusionbee.com	Modelos de texto para imagem do Diffusers
JoyFusion	joyfusion.app	Modelos de texto para imagem do Core ML marcados com joyfusion

👨‍💻 Para usar esses aplicativos locais, copie os trechos do cartão do modelo, conforme mostrado acima.

👷 Se você está criando um aplicativo local, pode aprender sobre a integração com o Hub em este guia.

Llama

Llama é um aplicativo nativo para macOS e Windows para executar modelos GGUF localmente.

Vantagens:

• Aplicativo nativo leve que fica na sua barra de menus ou barra de tarefas
• Instalação com um clique de modelos GGUF do Hub
• Chat local e privado com modelos instalados
• Obtenha modelos recomendados para o seu computador
• Integre facilmente com agentes como Pi, Hermes, OpenClaw

Para usar o Llama, acesse o cartão do modelo de um modelo GGUF e clique em “Use this model”. O Llama será aberto e guiará você pela instalação do modelo.

Llama está atualmente disponível para macOS e Windows.

Llama.cpp

Llama.cpp é uma biblioteca de alto desempenho em C/C++ para executar LLMs localmente com inferência otimizada em diversos tipos de hardware, incluindo CPUs, CUDA e Metal.

Vantagens:

• Desempenho extremamente rápido para modelos baseados em CPU em várias famílias de CPU
• Baixo uso de recursos
• Várias opções de interface (CLI, servidor compatível com OpenAI com uma interface web)
• Otimizado para hardware de CPUs e GPUs

Para usar o Llama.cpp, acesse o cartão do modelo e clique em “Use this model” e copie o comando. O trecho de código cobre a instalação do llama.cpp (script de instalação no macOS e Linux, WinGet no Windows, ou compilação a partir do código-fonte) e a execução do modelo:

# Install llama.cpp (macOS, Linux):
curl -LsSf https://llama.app/install.sh | sh

# Start a local OpenAI-compatible server with a web UI:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Or run inference directly in the terminal:
llama cli -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

Leia nossa página de documentação dedicada ao llama.cpp + HF.

LM Studio

Leia nossa página de documentação dedicada ao LM Studio

LM Studio é um aplicativo de desktop que oferece uma maneira fácil de baixar, executar e experimentar LLMs locais.

Vantagens:

• Interface gráfica intuitiva
• Navegador de modelos integrado
• Ferramentas e APIs para desenvolvedores
• Gratuito para uso pessoal e comercial

Navegue até o cartão do modelo de um modelo GGUF ou MLX e clique em “Use this model”. O LM Studio será aberto e você poderá começar a conversar pela interface.

Jan

Jan é uma alternativa de código aberto ao ChatGPT que roda totalmente offline com uma interface amigável.

Vantagens:

• Interface gráfica amigável
• Converse com documentos e arquivos
• Servidor de API compatível com a OpenAI, para que você possa executar modelos e usá-los a partir de outros aplicativos

Para usar o Jan, acesse o cartão do modelo de um modelo GGUF e clique em “Use this model”. O Jan será aberto e você poderá começar a conversar pela interface.

Chat Atômico

Atomic Chat é um aplicativo de chat para desktop para executar modelos locais.

Vantagens:

• Interface de chat gráfica
• Suporta modelos GGUF e MLX

Para usar o Atomic Chat, acesse o cartão do modelo de um modelo GGUF ou MLX e clique em “Use this model”. O Atomic Chat será aberto com o modelo pronto para download.

Unsloth Desktop

Unsloth Desktop é um aplicativo de desktop da Unsloth para executar modelos locais.

Vantagens:

• Interface gráfica
• Funciona com modelos GGUF e modelos do ecossistema Unsloth

Para usar o Unsloth Desktop, acesse o cartão do modelo de um modelo GGUF ou Unsloth e clique em “Use this model”. O Unsloth Desktop abrirá o modelo, incluindo o arquivo GGUF que você selecionou, caso tenha escolhido um dos arquivos do modelo.

Ollama

Ollama é um aplicativo que permite executar modelos de linguagem grandes localmente no seu computador por meio de uma interface de linha de comando simples. Ele está disponível para modelos GGUF.

Vantagens:

• Instalação e configuração fáceis
• Integração direta com o Hugging Face Hub

Para usar o Ollama, navegue até o cartão do modelo, clique em “Use this model” e copie o comando.

ollama run hf.co/unsloth/gpt-oss-20b-GGUF:Q4_K_M

vLLM

vLLM é um motor de inferência e serviço de alto rendimento para LLMs, com um servidor de API compatível com a OpenAI.

Vantagens:

• Alto throughput, otimizado para GPUs
• Suporta modelos Transformers, GGUF e quantizados (AWQ, GPTQ)
• Servidor de API compatível com a OpenAI

O vLLM está disponível para modelos de geração de texto e de imagem-texto-para-texto. Navegue até o cartão do modelo, clique em “Use this model” e copie os comandos:

# Install vLLM from pip:
pip install vllm

# Start the vLLM server:
vllm serve "openai/gpt-oss-20b"

# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "openai/gpt-oss-20b",
		"messages": [{"role": "user", "content": "What is the capital of France?"}]
	}'

O trecho também mostra como executar o modelo com o Docker Model Runner.

SGLang

SGLang é um framework de serving rápido para LLMs e modelos de visão-linguagem.

Vantagens:

• Serving de alto desempenho em GPUs
• Suporta Transformers e modelos quantizados (AWQ, GPTQ)
• Servidor de API compatível com a OpenAI

O SGLang está disponível para modelos de geração de texto e de imagem-texto-para-texto. Navegue até o cartão do modelo, clique em “Use this model” e copie os comandos:

# Install SGLang from pip:
pip install sglang

# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "openai/gpt-oss-20b" \
    --host 0.0.0.0 \
    --port 30000

O servidor expõe uma API compatível com a OpenAI na porta 30000. O trecho de código também inclui um comando Docker usando a imagem lmsysorg/sglang.

MLX LM

MLX LM executa LLMs em Apple silicon usando o framework MLX da Apple.

Vantagens:

• Otimizado para Apple silicon
• Chat interativo e geração de texto a partir da linha de comando
• Servidor compatível com a OpenAI

O MLX LM está disponível para modelos de geração de texto do MLX. Navegue até o cartão do modelo, clique em “Use this model” e copie os comandos:

# Install MLX LM
uv tool install mlx-lm

# Interactive chat REPL
mlx_lm.chat --model "mlx-community/Qwen3-4B-4bit"

# Or start an OpenAI-compatible server
mlx_lm.server --model "mlx-community/Qwen3-4B-4bit"

Docker Model Runner

O Docker Model Runner permite que você baixe e execute modelos com o CLI do Docker.

Vantagens:

• Usa as ferramentas Docker familiares
• Suporta modelos GGUF e modelos compatíveis com vLLM

Acesse o cartão do modelo, clique em “Use this model” e copie o comando:

docker model run hf.co/unsloth/gpt-oss-20b-GGUF:Q4_K_M

Limonada

Lemonade é um servidor local de LLM, otimizado para hardware AMD.

Vantagens:

• Suporta modelos GGUF
• Executa modelos criados para NPUs AMD Ryzen AI (modelos marcados com ryzenai-npu ou ryzenai-hybrid)

Após baixar o Lemonade, acesse o cartão do modelo, clique em “Use this model” e copie os comandos:

# Pull the model
lemonade pull unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Run and chat with the model
lemonade run user.gpt-oss-20b-GGUF-Q4_K_M

# List all available models
lemonade list

Pi

Pi é um agente de programação que roda no seu terminal.

O Pi está disponível para modelos de chat GGUF e MLX cujo template de chat suporta chamadas de ferramentas. O trecho de código primeiro inicia um servidor local compatível com a OpenAI (llama serve para modelos GGUF, mlx_lm.server para modelos MLX) e, em seguida, configura o Pi para usá-lo:

# Start a local OpenAI-compatible server:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Install Pi:
npm install -g @earendil-works/pi-coding-agent

# start Pi in your project directory:
pi

# configure Pi to use your llama server:
/login llama.cpp

Hermes Agent

Hermes Agent é um agente de IA da Nous Research que pode ser executado com modelos locais.

O Hermes Agent está disponível para modelos de chat GGUF e MLX cujo template de chat suporta chamadas de ferramentas. O trecho de código primeiro inicia um servidor local compatível com a OpenAI (llama serve para modelos GGUF, mlx_lm.server para modelos MLX) e, em seguida, configura o Hermes Agent para usá-lo:

# Start a local OpenAI-compatible server:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Install Hermes:
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
hermes setup

# Point Hermes at the local server:
hermes config set model.provider custom
hermes config set model.base_url http://127.0.0.1:8080/v1
hermes config set model.default unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Run Hermes
hermes

OpenClaw

OpenClaw é um agente de IA pessoal de código aberto que pode ser executado com modelos locais.

O OpenClaw está disponível para modelos de chat GGUF e MLX cujo template de chat suporta chamadas de ferramentas. O trecho de código primeiro inicia um servidor local compatível com a OpenAI (llama serve para modelos GGUF, mlx_lm.server para modelos MLX) e, em seguida, configura o OpenClaw para usá-lo:

# Start a local OpenAI-compatible server:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Install OpenClaw:
npm install -g openclaw@latest

# Register the local server and set it as the default model:
openclaw onboard --non-interactive --mode local \
  --auth-choice custom-api-key \
  --custom-base-url http://127.0.0.1:8080/v1 \
  --custom-model-id "unsloth/gpt-oss-20b-GGUF:Q4_K_M" \
  --custom-provider-id llama-cpp \
  --custom-compatibility openai \
  --custom-text-input \
  --accept-risk \
  --skip-health

# Run OpenClaw
openclaw agent --local --agent main --message "Hello from Hugging Face"

Draw Things

Draw Things é um aplicativo para gerar imagens localmente em dispositivos Apple.

Vantagens:

• Executa modelos de texto para imagem totalmente no dispositivo
• É possível importar tanto modelos base quanto LoRAs

Para usar o Draw Things, acesse o cartão do modelo de um modelo de texto para imagem do Diffusers ou de um LoRA e clique em “Use this model”. O Draw Things será aberto e importará o modelo.

Draw Things está disponível apenas para macOS.

DiffusionBee

DiffusionBee é um aplicativo de desktop para gerar imagens localmente com modelos Stable Diffusion.

Vantagens:

• Interface gráfica simples
• Sem necessidade de configuração ou linha de comando

Para usar o DiffusionBee, acesse o cartão do modelo de um modelo text-to-image do Diffusers e clique em “Use this model”. O DiffusionBee será aberto e importará o modelo.

DiffusionBee está disponível apenas para macOS.

JoyFusion

JoyFusion é um aplicativo para gerar imagens localmente com modelos Core ML em dispositivos Apple.

Para usar o JoyFusion, acesse o cartão do modelo de um modelo de texto para imagem do Core ML com a tag joyfusion e clique em “Use this model”. O JoyFusion será aberto e importará o modelo.

JoyFusion está disponível apenas no macOS.