Usa modelos de IA localmente

Puedes ejecutar modelos de IA del Hub localmente en tu máquina. Esto significa que puedes beneficiarte de estas ventajas:

• Privacidad: No enviarás tus datos a un servidor remoto.
• Velocidad: El factor limitante es tu hardware, no la velocidad del servidor o de la conexión.
• Control: Puedes configurar los modelos a tu gusto.
• Coste: Puedes ejecutar modelos localmente sin pagar a un proveedor de API.

Cómo usar aplicaciones locales

Las aplicaciones locales son aplicaciones que pueden ejecutar modelos de Hugging Face directamente en tu máquina. Para empezar:

1. Habilita las aplicaciones locales en tus configuraciones de aplicaciones locales.

2. Elige un modelo compatible del Hub buscándolo. Puedes filtrar por aplicación en el grupo Apps de la sección Other de la barra lateral de filtros, por ejemplo modelos compatibles con llama.cpp:

3. Selecciona la aplicación local desde el menú desplegable “Usar este modelo” en la página del modelo.

4. Copia y ejecuta el comando proporcionado en tu terminal.

Aplicaciones locales compatibles

Las aplicaciones locales compatibles se enumeran en la configuración de aplicaciones locales.

En una página de modelo, el menú desplegable “Use this model” solo muestra una aplicación cuando el modelo es compatible con ella (por ejemplo, un modelo GGUF para llama.cpp o Ollama).

Las siguientes aplicaciones están disponibles actualmente en el Hub:

App	Sitio web	Modelos compatibles
Llama	llama.app	GGUF
llama.cpp	github.com/ggml-org/llama.cpp	GGUF
LM Studio	lmstudio.ai	GGUF, MLX
ene	jan.ai	GGUF
Chat atómico	atomic.chat	GGUF, MLX
Unsloth Desktop	unsloth.ai/docs	GGUF, modelos de Unsloth
Ollama	ollama.com	GGUF
vLLM	docs.vllm.ai	Modelos de generación de texto, GGUF, AWQ, GPTQ y de imagen-texto a texto
SGLang	docs.sglang.io	Modelos de generación de texto y de imagen-texto a texto de Transformers, AWQ y GPTQ
MLX LM	github.com/ml-explore/mlx-lm	Modelos de generación de texto de MLX
Executor de modelos de Docker	docs.docker.com/ai/model-runner	GGUF, modelos compatibles con vLLM
Limonada	lemonade-server.ai	GGUF, modelos AMD Ryzen AI
Pi	github.com/earendil-works/pi	Modelos de chat GGUF y MLX con invocación de herramientas
Agente Hermes	hermes-agent.nousresearch.com	Modelos de chat GGUF y MLX con invocación de herramientas
OpenClaw	github.com/openclaw/openclaw	Modelos de chat GGUF y MLX con invocación de herramientas
Draw Things	drawthings.ai	Modelos de texto a imagen y LoRAs de Diffusers
DiffusionBee	diffusionbee.com	Modelos de texto a imagen de Diffusers
JoyFusion	joyfusion.app	Modelos de texto a imagen de Core ML etiquetados con joyfusion

👨‍💻 Para usar estas aplicaciones locales, copia los fragmentos de código de la tarjeta del modelo, como se muestra arriba.

👷 Si estás creando una aplicación local, puedes aprender a integrar con el Hub en esta guía.

Llama

Llama es una aplicación nativa para macOS y Windows para ejecutar modelos GGUF localmente.

Ventajas:

• Aplicación nativa ligera que reside en la barra de menús o la barra de tareas
• Instalación con un clic de modelos GGUF desde el Hub
• Chat local y privado con modelos instalados
• Obtén modelos recomendados para tu computadora
• Integración fácil con agentes como Pi, Hermes, OpenClaw

Para usar Llama, acceda a la tarjeta del modelo de un modelo GGUF y haga clic en “Use this model”. Llama se abrirá y le guiará a través de la instalación del modelo.

Llama está disponible actualmente tanto para macOS como para Windows.

Llama.cpp

Llama.cpp es una biblioteca de alto rendimiento en C/C++ para ejecutar LLMs localmente con inferencia optimizada en una amplia variedad de hardware, incluidos CPUs, CUDA y Metal.

Ventajas:

• Rendimiento extremadamente rápido para modelos basados en CPU en múltiples familias de CPU
• Bajo uso de recursos
• Varias opciones de interfaz (CLI, servidor compatible con OpenAI con una interfaz web)
• Optimizado para hardware de CPUs y GPUs

Para usar Llama.cpp, acceda a la tarjeta del modelo y haga clic en “Use this model” y copie el comando. El fragmento cubre la instalación de llama.cpp (script de instalación en macOS y Linux, WinGet en Windows, o compilación desde el código fuente) y la ejecución del modelo:

# Install llama.cpp (macOS, Linux):
curl -LsSf https://llama.app/install.sh | sh

# Start a local OpenAI-compatible server with a web UI:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Or run inference directly in the terminal:
llama cli -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

Lee nuestra página de documentación dedicada a llama.cpp + HF.

LM Studio

Lee nuestra página de documentación dedicada a LM Studio

LM Studio es una aplicación de escritorio que ofrece una forma sencilla de descargar, ejecutar y experimentar con LLMs locales.

Ventajas:

• Interfaz gráfica intuitiva
• Explorador de modelos integrado
• Herramientas de desarrollo y APIs
• Gratis para uso personal y comercial

Vaya a la tarjeta del modelo de un modelo GGUF o MLX y haga clic en “Use this model”. LM Studio se abrirá y podrá comenzar a chatear a través de la interfaz.

Ene

Jan es una alternativa de código abierto a ChatGPT que funciona completamente sin conexión y con una interfaz fácil de usar.

Ventajas:

• Interfaz gráfica de usuario
• Chatear con documentos y archivos
• Servidor de API compatible con OpenAI, para que puedas ejecutar modelos y utilizarlos desde otras aplicaciones

Para usar Jan, ve a la tarjeta del modelo de un modelo GGUF y haz clic en “Use this model”. Jan se abrirá y podrás empezar a chatear a través de la interfaz.

Chat atómico

Atomic Chat es una aplicación de chat de escritorio para ejecutar modelos locales.

Ventajas:

• Interfaz de chat gráfica
• Admite tanto modelos GGUF como modelos MLX

Para usar Atomic Chat, acceda a la tarjeta del modelo de un modelo GGUF o MLX y haga clic en “Use this model”. Atomic Chat se abrirá con el modelo listo para descargar.

Unsloth Desktop

Unsloth Desktop es una aplicación de escritorio de Unsloth para ejecutar modelos locales.

Ventajas:

• Interfaz gráfica
• Funciona con modelos GGUF y modelos del ecosistema de Unsloth

Para usar Unsloth Desktop, acceda a la tarjeta del modelo de un modelo GGUF o Unsloth y haga clic en “Use this model”. Unsloth Desktop abrirá el modelo, incluido el archivo GGUF que seleccionó si eligió uno de los archivos del modelo.

Ollama

Ollama es una aplicación que permite ejecutar modelos de lenguaje de gran tamaño localmente en tu computadora mediante una simple interfaz de línea de comandos. Está disponible para modelos GGUF.

Ventajas:

• Instalación y configuración sencillas
• Integración directa con Hugging Face Hub

Para usar Ollama, vaya a la tarjeta del modelo, haga clic en “Use this model” y copie el comando.

ollama run hf.co/unsloth/gpt-oss-20b-GGUF:Q4_K_M

vLLM

vLLM es un motor de inferencia y servicio de alto rendimiento para LLMs, con un servidor de API compatible con OpenAI.

Ventajas:

• Alto rendimiento, optimizado para GPUs
• Admite modelos de Transformers, GGUF y cuantizados (AWQ, GPTQ)
• Servidor de API compatible con OpenAI

vLLM está disponible para modelos de generación de texto y de imagen-texto a texto. Vaya a la tarjeta del modelo, haga clic en “Use this model” y copie los comandos:

# Install vLLM from pip:
pip install vllm

# Start the vLLM server:
vllm serve "openai/gpt-oss-20b"

# Call the server using curl (OpenAI-compatible API):
curl -X POST "http://localhost:8000/v1/chat/completions" \
	-H "Content-Type: application/json" \
	--data '{
		"model": "openai/gpt-oss-20b",
		"messages": [{"role": "user", "content": "What is the capital of France?"}]
	}'

El fragmento también muestra cómo ejecutar el modelo con Docker Model Runner.

SGLang

SGLang es un marco de servicio rápido para LLMs y modelos de visión y lenguaje.

Ventajas:

• Servicio de alto rendimiento en GPUs
• Admite modelos de Transformers y modelos cuantizados (AWQ, GPTQ)
• Servidor de API compatible con OpenAI

SGLang está disponible para modelos de generación de texto y de imagen-texto a texto. Vaya a la tarjeta del modelo, haga clic en “Use this model” y copie los comandos:

# Install SGLang from pip:
pip install sglang

# Start the SGLang server:
python3 -m sglang.launch_server \
    --model-path "openai/gpt-oss-20b" \
    --host 0.0.0.0 \
    --port 30000

El servidor expone una API compatible con OpenAI en el puerto 30000. El fragmento también incluye un comando de Docker que utiliza la imagen lmsysorg/sglang.

MLX LM

MLX LM ejecuta LLMs en Apple silicon usando el framework MLX de Apple.

Ventajas:

• Optimizado para Apple silicon
• Chat interactivo y generación de texto desde la línea de comandos
• Servidor compatible con OpenAI

MLX LM está disponible para modelos de generación de texto de MLX. Vaya a la tarjeta del modelo, haga clic en “Use this model” y copie los comandos:

# Install MLX LM
uv tool install mlx-lm

# Interactive chat REPL
mlx_lm.chat --model "mlx-community/Qwen3-4B-4bit"

# Or start an OpenAI-compatible server
mlx_lm.server --model "mlx-community/Qwen3-4B-4bit"

Docker Model Runner

Docker Model Runner te permite descargar y ejecutar modelos con la CLI de Docker.

Ventajas:

• Utiliza las herramientas de Docker habituales
• Admite modelos GGUF y modelos compatibles con vLLM

Vaya a la tarjeta del modelo, haga clic en “Use this model” y copie el comando:

docker model run hf.co/unsloth/gpt-oss-20b-GGUF:Q4_K_M

Limonada

Lemonade es un servidor local de LLM, optimizado para hardware de AMD.

Ventajas:

• Admite modelos GGUF
• Ejecuta modelos creados para las NPUs de AMD Ryzen AI (modelos etiquetados con ryzenai-npu o ryzenai-hybrid)

Después de descargar Lemonade, acceda a la tarjeta del modelo, haga clic en “Use this model” y copie los comandos:

# Pull the model
lemonade pull unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Run and chat with the model
lemonade run user.gpt-oss-20b-GGUF-Q4_K_M

# List all available models
lemonade list

Pi

Pi es un agente de programación que se ejecuta en tu terminal.

Pi está disponible para modelos de chat GGUF y MLX cuya plantilla de chat admite la invocación de herramientas. El fragmento primero inicia un servidor local compatible con OpenAI (llama serve para modelos GGUF, mlx_lm.server para modelos MLX) y luego configura Pi para que lo utilice:

# Start a local OpenAI-compatible server:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Install Pi:
npm install -g @earendil-works/pi-coding-agent

# start Pi in your project directory:
pi

# configure Pi to use your llama server:
/login llama.cpp

Hermes Agent

Hermes Agent es un agente de IA de Nous Research que puede ejecutarse con modelos locales.

Hermes Agent está disponible para modelos de chat GGUF y MLX cuya plantilla de chat admite la invocación de herramientas. El fragmento primero inicia un servidor local compatible con OpenAI (llama serve para modelos GGUF, mlx_lm.server para modelos MLX) y luego configura Hermes Agent para que lo utilice:

# Start a local OpenAI-compatible server:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Install Hermes:
curl -fsSL https://hermes-agent.nousresearch.com/install.sh | bash
hermes setup

# Point Hermes at the local server:
hermes config set model.provider custom
hermes config set model.base_url http://127.0.0.1:8080/v1
hermes config set model.default unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Run Hermes
hermes

OpenClaw

OpenClaw es un agente de IA personal de código abierto que puede ejecutarse con modelos locales.

OpenClaw está disponible para modelos de chat GGUF y MLX cuya plantilla de chat admite la invocación de herramientas. El fragmento primero inicia un servidor local compatible con OpenAI (llama serve para modelos GGUF, mlx_lm.server para modelos MLX) y luego configura OpenClaw para que lo utilice:

# Start a local OpenAI-compatible server:
llama serve -hf unsloth/gpt-oss-20b-GGUF:Q4_K_M

# Install OpenClaw:
npm install -g openclaw@latest

# Register the local server and set it as the default model:
openclaw onboard --non-interactive --mode local \
  --auth-choice custom-api-key \
  --custom-base-url http://127.0.0.1:8080/v1 \
  --custom-model-id "unsloth/gpt-oss-20b-GGUF:Q4_K_M" \
  --custom-provider-id llama-cpp \
  --custom-compatibility openai \
  --custom-text-input \
  --accept-risk \
  --skip-health

# Run OpenClaw
openclaw agent --local --agent main --message "Hello from Hugging Face"

Draw Things

Draw Things es una aplicación para generar imágenes localmente en dispositivos de Apple.

Ventajas:

• Ejecuta modelos de texto a imagen completamente en el dispositivo
• Se pueden importar tanto modelos base como LoRAs

Para usar Draw Things, acceda a la tarjeta del modelo de un modelo de texto a imagen de Diffusers o de un LoRA y haga clic en “Use this model”. Draw Things se abrirá e importará el modelo.

Draw Things está disponible solo en macOS.

DiffusionBee

DiffusionBee es una aplicación de escritorio para generar imágenes localmente con modelos de Stable Diffusion.

Ventajas:

• Interfaz gráfica simple
• No requiere configuración ni línea de comandos

Para usar DiffusionBee, acceda a la tarjeta del modelo de un modelo de texto a imagen de Diffusers y haga clic en “Use this model”. DiffusionBee se abrirá e importará el modelo.

DiffusionBee está disponible solo en macOS.

JoyFusion

JoyFusion es una aplicación para generar imágenes localmente con modelos de Core ML en dispositivos de Apple.

Para usar JoyFusion, acceda a la tarjeta del modelo de un modelo de texto a imagen de Core ML etiquetado con joyfusion y haga clic en “Use this model”. JoyFusion se abrirá e importará el modelo.

JoyFusion está disponible solo en macOS.