Transformers documentation

Gemma 3

Transformers

You are viewing main version, which requires installation from source. If you'd like regular pip install, checkout the latest stable version (v5.22.1).

Join the Hugging Face community

and get access to the augmented documentation experience

Collaborate on models, datasets and Spaces

Faster examples with accelerated inference

Switch between documentation themes

to get started

Model ini dipublikasikan di HF papers pada 2025-03-25 dan disumbangkan ke Hugging Face Transformers pada 2025-03-12.

Gemma 3

Gemma 3 adalah model multimodal dengan varian pretrained dan instruction-tuned, tersedia dalam 1B, 13B, dan 27B parameter. Arsitekturnya sebagian besar sama dengan versi Gemma sebelumnya. Perbedaan utamanya adalah lapisan self-attention sliding window lokal 5 yang berselang-seling untuk setiap lapisan self-attention global, dukungan untuk panjang konteks yang lebih panjang yaitu 128K token, dan encoder SigLip yang dapat “pan & scan” gambar resolusi tinggi untuk mencegah hilangnya informasi pada gambar resolusi tinggi atau gambar dengan rasio aspek non-persegi.

Varian yang telah diinstruksikan (instruction-tuned) dilatih ulang (post-trained) menggunakan distilasi pengetahuan dan pembelajaran penguatan.

Anda dapat menemukan semua checkpoint asli Gemma 3 di bawah rilis Gemma 3.

Klik pada model Gemma 3 di bilah sisi kanan untuk melihat lebih banyak contoh cara menerapkan Gemma ke berbagai tugas visi dan bahasa.

Setel use_kernels=True di from_pretrained() untuk mengganti lapisan yang didukung dengan kernel yang dioptimalkan dari Hub. Lihat Memuat kernel untuk mempelajari lebih lanjut.

Contoh di bawah ini menunjukkan cara menghasilkan teks berdasarkan gambar dengan Pipeline atau kelas AutoModel.

Pipeline

AutoModel

Quantization mengurangi beban memori model besar dengan merepresentasikan bobot dalam presisi yang lebih rendah. Lihat ringkasan Quantization untuk backend quantization lain yang tersedia.

Contoh di bawah menggunakan torchao untuk hanya mengkuantisasi bobot ke int4.

# pip install torchao
from transformers import AutoProcessor, Gemma3ForConditionalGeneration, TorchAoConfig


quantization_config = TorchAoConfig("int4_weight_only", group_size=128)
model = Gemma3ForConditionalGeneration.from_pretrained(
    "google/gemma-3-27b-it",
    device_map="auto",
    quantization_config=quantization_config
)
processor = AutoProcessor.from_pretrained(
    "google/gemma-3-27b-it",
    padding_side="left"
)

messages = [
    {
        "role": "system",
        "content": [
            {"type": "text", "text": "You are a helpful assistant."}
        ]
    },
    {
        "role": "user", "content": [
            {"type": "image", "url": "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"},
            {"type": "text", "text": "What is shown in this image?"},
        ]
    },
]
inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
).to(model.device)

output = model.generate(**inputs, max_new_tokens=50, cache_implementation="static")
print(processor.decode(output[0], skip_special_tokens=True))

Gunakan AttentionMaskVisualizer untuk lebih memahami token mana yang dapat dan tidak dapat diperhatikan oleh model.

from transformers.utils.attention_visualizer import AttentionMaskVisualizer


visualizer = AttentionMaskVisualizer("google/gemma-3-4b-it")
visualizer("<img>What is shown in this image?")

Catatan

Gunakan Gemma3ForConditionalGeneration untuk input gambar-dan-teks dan hanya gambar.

Gemma 3 mendukung beberapa gambar input, tetapi pastikan gambar-gambar tersebut di-batch dengan benar sebelum diteruskan ke processor. Setiap batch harus berupa daftar satu atau lebih gambar.

url_cow = "https://media.istockphoto.com/id/1192867753/photo/cow-in-berchida-beach-siniscola.jpg?s=612x612&w=0&k=20&c=v0hjjniwsMNfJSuKWZuIn8pssmD5h5bSN1peBd1CmH4="
url_cat = "https://huggingface.co/datasets/huggingface/documentation-images/resolve/main/pipeline-cat-chonk.jpeg"

messages =[
    {
        "role": "system",
        "content": [
            {"type": "text", "text": "You are a helpful assistant."}
        ]
    },
    {
        "role": "user",
        "content": [
            {"type": "image", "url": url_cow},
            {"type": "image", "url": url_cat},
            {"type": "text", "text": "Which image is cuter?"},
        ]
    },
]

Teks yang diteruskan ke processor harus memiliki token <start_of_image> di setiap tempat di mana gambar harus disisipkan.
Processor memiliki metode apply_chat_template() miliknya sendiri untuk mengonversi pesan chat menjadi input model.
Secara default, gambar tidak dipotong dan hanya gambar dasar yang diteruskan ke model. Pada gambar beresolusi tinggi atau gambar dengan rasio aspek yang tidak persegi, artefak dapat muncul karena vision encoder menggunakan resolusi tetap 896x896. Untuk mencegah artefak ini dan meningkatkan kinerja selama inferensi, atur do_pan_and_scan=True untuk memotong gambar menjadi beberapa patch yang lebih kecil dan menggabungkannya dengan embedding gambar dasar. Anda dapat menonaktifkan pan and scan untuk inferensi yang lebih cepat.
```
inputs = processor.apply_chat_template(
    messages,
    tokenize=True,
    return_dict=True,
    return_tensors="pt",
    add_generation_prompt=True,
+   do_pan_and_scan=True,
    ).to(model.device)
```

Untuk checkpoint Gemma-3 1B yang dilatih dalam mode teks saja, gunakan AutoModelForCausalLM sebagai gantinya.

import torch
from transformers import AutoModelForCausalLM, AutoTokenizer

tokenizer = AutoTokenizer.from_pretrained(
    "google/gemma-3-1b-pt",
)
model = AutoModelForCausalLM.from_pretrained(
    "google/gemma-3-1b-pt",
    device_map="auto",
    attn_implementation="sdpa"
)
input_ids = tokenizer("Plants create energy through a process known as", return_tensors="pt").to(model.device)

output = model.generate(**input_ids, cache_implementation="static")
print(tokenizer.decode(output[0], skip_special_tokens=True))

Transformers

Gemma 3

Catatan

Gemma3ImageProcessor

kelas transformers.Gemma3ImageProcessor

praproses

Gemma3ImageProcessorPil

kelas transformers.Gemma3ImageProcessorPil

praproses

Gemma3Processor

kelas transformers.Gemma3Processor

__call__

Gemma3TextConfig

kelas transformers.Gemma3TextConfig

Gemma3Config

kelas transformers.Gemma3Config

Gemma3TextModel

kelas transformers.Gemma3TextModel

forward

Gemma3Model

kelas transformers.Gemma3Model

forward

get_image_features

get_placeholder_mask

Gemma3ForCausalLM

kelas transformers.Gemma3ForCausalLM

forward

Gemma3ForConditionalGeneration

kelas transformers.Gemma3ForConditionalGeneration

forward

get_image_features

Gemma3ForSequenceClassification

kelas transformers.Gemma3ForSequenceClassification

forward

Gemma3TextForSequenceClassification

kelas transformers.Gemma3TextForSequenceClassification

forward

call