Model ini disumbangkan ke Hugging Face Transformers pada 2026-11-09.

JEV

Model keputusan, pipeline decision dan DecisionConfig bersifat eksperimental: API-nya dapat berubah kapan saja, tanpa masa transisi.

JEV adalah kepala keputusan yang memberi skor pada label token tunggal dengan lapisan linear di token terakhir prompt, dengan batas lunak seperti logit dari kepala model bahasa. JEV diperkenalkan oleh JEV dan juga digunakan oleh GEV.

JevForDecision adalah model dari checkpoint beserta head-nya, seperti ForCausalLM yang merupakan model beserta lm_head-nya. Ia membaca file yang disertakan checkpoint bersama head-nya, berdampingan dengan bobotnya (readout.safetensors dan decision_config.json untuk model keputusan vLLM, head.safetensors dan judge_config.json untuk JEV).

from transformers import pipeline

decide = pipeline("decision", model="autotrust/GEV-26B-Decide")
decide(
    {
        "state": "I was charged twice for my order and want a refund.",
        "questions": {"refund": {"type": "noul", "instructions": "Is a refund requested?"}},
    }
)

Lihat pipeline keputusan untuk aset gambar.

Tanpa pipeline, model keputusan digunakan seperti generate: konfigurasi keputusan merender prompt untuk setiap pertanyaan (atau satu untuk semuanya) dengan template chat, decide memberikan skor pada opsi setiap pertanyaan, dan Question.answer mengubah skor menjadi jawaban:

from_pretrained tidak memuat LoRA dari checkpoint yang menyimpannya di subfolder (decision_config.adapter, misalnya adapter/ untuk JEV). Pipeline memuatnya untuk Anda; tanpa pipeline, panggil load_adapter sendiri seperti di bawah, atau model akan menjawab dengan bobot dasar.

import torch
from transformers import AutoTokenizer, JevForDecision

repo = "autotrust/JEV-9B"
model = JevForDecision.from_pretrained(repo, dtype=torch.bfloat16, device_map="auto")
tokenizer, config = AutoTokenizer.from_pretrained(repo), model.decision_config  # read from the checkpoint's files
if config.adapter:  # JEV keeps its LoRA in a subfolder: `from_pretrained` doesn't load it, the pipeline does
    model.load_adapter(repo, adapter_kwargs={"subfolder": config.adapter})

request = {
    "state": "I was charged twice for my order and I want my money back today.",
    "questions": {
        "refund": {"type": "noul", "instructions": "Does the customer ask for a refund?"},
        "urgency": {"type": "score", "criteria": ["Can wait", "This week", "Today", "Now"]},
    },
}
answers = {}
for inputs, questions in config.prepare_inputs(request, tokenizer):
    scores = model.decide(**inputs, decision_questions=questions)
    answers |= {q.name: q.answer(s.softmax(-1).tolist()) for q, s in zip(questions, scores)}

Head yang sama membaca 255 kode jawaban dari pplx-decider dan d3, di mana backbone Qwen3.5 mereka memperhatikan seluruh prompt (is_causal=False dalam text_config dari JevForDecision mereka). Head mereka (readout.safetensors) dan pengaturan (decision_config.json) dibaca apa adanya, berdampingan dengan bobot mereka:

pipeline("decision", model="vllm-sr/d3")(request)  # or perplexity-ai/pplx-decider-v1.1-27b

JevConfig

>>> from transformers import JevConfig, JevForDecision

>>> model = JevForDecision(JevConfig(hidden_size=4096))

JevForDecision