Hub

API docs

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Menggunakan MLX di Hugging Face

MLX adalah kerangka kerja pelatihan dan penyajian model untuk Apple silicon yang dibuat oleh Apple Machine Learning Research.

Termasuk berbagai contoh:

Generate teks dengan MLX-LM dan menghasilkan teks dengan MLX-LM untuk model dalam format GGUF.
Generasi teks berskala besar dengan LLaMA.
Fine-tuning dengan LoRA.
Membuat gambar dengan Stable Diffusion.
Pengakuan ucapan dengan Whisper dari OpenAI.

Menjelajahi MLX di Hub

Anda dapat menemukan model MLX dengan memfilter di bagian kiri halaman model. Terdapat juga komunitas MLX terbuka yang terdiri dari kontributor yang mengonversi dan menerbitkan bobot untuk format MLX.

Berkat integrasi MLX Hugging Face Hub, Anda dapat memuat model MLX dengan beberapa baris kode.

Instalasi

MLX hadir sebagai paket mandiri, dan terdapat subpaket bernama MLX-LM dengan integrasi Hugging Face untuk Large Language Models. Untuk menginstal MLX-LM, Anda dapat menggunakan instalasi satu baris berikut melalui pip:

pip install mlx-lm

Anda dapat memperoleh informasi lebih lanjut tentangnya di sini.

Jika Anda menginstal mlx-lm, Anda tidak perlu menginstal mlx. Jika Anda tidak ingin menggunakan mlx-lm tetapi hanya MLX, Anda dapat menginstal MLX itu sendiri sebagai berikut.

Dengan pip:

pip install mlx

Dengan conda:

conda install -c conda-forge mlx

Menggunakan Model yang Sudah Ada

MLX-LM memiliki utilitas yang berguna untuk menghasilkan teks. Baris berikut langsung mengunduh dan memuat model, lalu memulai proses penghasilannya.

python -m mlx_lm.generate --model mistralai/Mistral-7B-Instruct-v0.2 --prompt "hello"

Untuk daftar lengkap opsi generasi, jalankan

python -m mlx_lm.generate --help

Anda juga dapat memuat model dan mulai menghasilkan teks melalui Python seperti di bawah ini:

from mlx_lm import load, generate

model, tokenizer = load("mistralai/Mistral-7B-Instruct-v0.2")

response = generate(model, tokenizer, prompt="hello", verbose=True)

MLX-LM mendukung arsitektur LLM populer termasuk LLaMA, Phi-2, Mistral, dan Qwen. Model selain yang didukung dapat dengan mudah diunduh sebagai berikut:

Menetapkan HF_XET_HIGH_PERFORMANCE=1 meningkatkan batas konkurensi dan ukuran buffer untuk mesin dengan bandwidth tinggi dan minimal 64 GB RAM:

pip install -U huggingface_hub

export HF_XET_HIGH_PERFORMANCE=1
hf download --local-dir <LOCAL FOLDER PATH> <USER_ID>/<MODEL_NAME>

Mengonversi dan Berbagi Model

Anda dapat mengonversi, dan secara opsional mengkuantisasi, LLM dari Hugging Face Hub sebagai berikut:

python -m mlx_lm.convert --hf-path mistralai/Mistral-7B-v0.1 -q

Jika Anda ingin langsung mendorong model setelah konversi, Anda dapat melakukannya seperti di bawah ini.

python -m mlx_lm.convert \
    --hf-path mistralai/Mistral-7B-v0.1 \
    -q \
    --upload-repo <USER_ID>/<MODEL_NAME>

Sumber Daya Tambahan

Update on GitHub

←mlx-image OpenCLIP→