Paramètres qui contrôlent la longueur de la sortie

• max_length (int, facultatif) — max_new_tokens est recommandé pour contrôler le nombre de jetons générés par le modèle. max_length est conservé pour la rétrocompatibilité.
• max_new_tokens (int, facultatif) — Le nombre maximal de jetons à générer, en ignorant le nombre de jetons du prompt.
• min_length (int, facultatif) — La longueur minimale de la séquence à générer. Correspond à la longueur du prompt d’entrée + min_new_tokens. Son effet est écrasé par min_new_tokens, si celui-ci est également défini.
• min_new_tokens (int, facultatif) — Le nombre minimal de jetons à générer, en ignorant le nombre de jetons du prompt.
• early_stopping (bool ou str, facultatif) — Contrôle la condition d’arrêt des méthodes basées sur les faisceaux, comme beam-search. Il accepte les valeurs suivantes : True, où la génération s’arrête dès qu’il y a num_beams candidats complets ; False, où une heuristique est appliquée et la génération s’arrête lorsqu’il est très peu probable de trouver de meilleurs candidats ; "never", où la procédure de beam search ne s’arrête que lorsqu’il ne peut plus y avoir de meilleurs candidats (algorithme de beam search canonique).
• max_time (float, facultatif) — La durée maximale, en secondes, que vous autorisez pour l’exécution du calcul. La génération terminera tout de même le passage en cours une fois le temps alloué dépassé.
• stop_strings (str ou list[str], facultatif) — Une chaîne de caractères ou une liste de chaînes de caractères qui doivent mettre fin à la génération si le modèle les produit.

Paramètres qui contrôlent la stratégie de génération utilisée

• do_sample (bool) — Indique s'il faut utiliser l'échantillonnage ; sinon, le décodage glouton est utilisé.
• num_beams (int, facultatif) — Nombre de faisceaux pour la recherche par faisceaux. 1 signifie qu'aucune recherche par faisceaux n'est effectuée.
• use_mtp — (bool) : Indique s'il faut utiliser la Multi-Token Prediction (MTP) si le modèle la prend en charge.

Paramètres qui contrôlent le cache

• use_cache (bool) — Indique si le modèle doit utiliser les clés/valeurs d'attention des derniers pas (si applicable au modèle) pour accélérer le décodage.
• cache_implementation (str, facultatif) — Nom de la classe de cache qui sera instanciée dans generate, pour un décodage plus rapide. Les valeurs possibles sont :
  • "dynamic" : DynamicCache
  • "static" : StaticCache
  • "offloaded": DynamicCache(offloaded=True)
  • "offloaded_static": StaticCache(offloaded=True)
  • "quantized" : QuantizedCache

  Si aucune n'est spécifiée, nous utiliserons le cache par défaut du modèle (souvent DynamicCache). Consultez notre documentation sur les caches pour plus d'informations.

• cache_config (dict, facultatif, par défaut None) — Les arguments utilisés dans la classe de cache clé-valeur peuvent être passés dans cache_config.
• max_cache_len (int, facultatif) — Utilisé uniquement avec les caches statiques (cache_implementation défini sur "static" ou "offloaded_static"). Pré-dimensionne le cache à cette longueur au lieu de la max_length de l’appel en cours. Définissez-le une seule fois à la valeur de l’appel le plus long que vous prévoyez, afin que les appels répétés de generate() avec un prompt plus long ou une valeur plus élevée de max_new_tokens (jusqu’à cette limite) réutilisent le même cache au lieu de déclencher une réallocation et une recompilation par torch.compile.

Paramètres pour la manipulation des logits de sortie du modèle

• temperature (float, facultatif) — La valeur utilisée pour moduler les probabilités du jeton suivant. Cette valeur est définie dans le fichier generation_config.json du modèle. Si elle n’est pas définie, la valeur par défaut est 1.0
• top_k (int, facultatif) — Le nombre de jetons du vocabulaire ayant la plus haute probabilité à conserver pour le filtrage top-k. Cette valeur est définie dans le fichier generation_config.json d’un modèle. Si elle n’est pas définie, la valeur par défaut est 50.
• top_p (float, facultatif) — Si défini sur un float < 1, seul l’ensemble minimal de jetons les plus probables dont les probabilités cumulées atteignent top_p ou plus est conservé pour la génération. Cette valeur est définie dans le fichier generation_config.json du modèle. Si elle n’est pas définie, la valeur par défaut est 1.0
• min_p (float, facultatif) — Probabilité minimale du jeton, qui sera mise à l’échelle par la probabilité du jeton le plus probable. Elle doit être une valeur comprise entre 0 et 1. Les valeurs typiques se situent dans la plage 0,01-0,2, avec une sélectivité comparable à celle obtenue en réglant top_p dans la plage 0,99-0,8 (utilisez l’opposé des valeurs habituelles de top_p).
• top_h (float, facultatif) — Facteur d’échelle du budget d’entropie, qui contrôle la part de l’entropie de la distribution conservée lors de l’échantillonnage. Doit être une valeur comprise entre 0 et 1. À chaque étape, les jetons sont triés par probabilité, et le plus petit préfixe de jetons dont l’entropie renormalisée est inférieure ou égale à top_h fois l’entropie de la distribution complète est conservé. Les valeurs plus faibles (par ex. 0,2–0,5) produisent des sorties plus ciblées et déterministes, tandis que les valeurs proches de 1,0 autorisent plus d’aléatoire et de diversité. Les valeurs typiques se situent dans la plage 0,3–0,6.
• typical_p (float, facultatif) — La mesure de typicalité locale évalue à quel point la probabilité conditionnelle de prédire le jeton cible suivant est proche de la probabilité conditionnelle attendue de prédire un jeton aléatoire suivant, étant donné le texte partiel déjà généré. Si définie sur une valeur float < 1, l’ensemble le plus petit de jetons les plus localement typiques, dont les probabilités s’additionnent à typical_p ou plus, est conservé pour la génération. Voir cet article pour plus de détails.
• epsilon_cutoff (float, facultatif) — Si défini sur un float strictement compris entre 0 et 1, seuls les jetons dont la probabilité conditionnelle est supérieure à epsilon_cutoff seront échantillonnés. Dans l’article, les valeurs suggérées vont de 3e-4 à 9e-4, en fonction de la taille du modèle. Voir Truncation Sampling as Language Model Desmoothing pour plus de détails.
• eta_cutoff (float, facultatif) — L'échantillonnage Eta est un hybride de l'échantillonnage typique local et de l'échantillonnage epsilon. S'il est défini sur un float strictement compris entre 0 et 1, un jeton n'est pris en compte que s'il est supérieur à eta_cutoff ou à sqrt(eta_cutoff) * exp(-entropy(softmax(next_token_logits))). Ce dernier terme correspond intuitivement à la probabilité du jeton suivant attendu, mise à l'échelle par sqrt(eta_cutoff). Dans l'article, les valeurs suggérées vont de 3e-4 à 2e-3, selon la taille du modèle. Consultez Truncation Sampling as Language Model Desmoothing pour plus de détails.
• repetition_penalty (float, facultatif) — Le paramètre de pénalité de répétition. 1.0 signifie qu’il n’y a pas de pénalité. Voir ce papier pour plus de détails.
• encoder_repetition_penalty (float, facultatif) — Le paramètre pour encoder_repetition_penalty. Une pénalité exponentielle appliquée aux séquences qui ne figurent pas dans l’entrée d’origine. 1.0 signifie qu’aucune pénalité n’est appliquée.
• length_penalty (float, facultatif) — Pénalité exponentielle appliquée à la longueur, utilisée lors de la génération par faisceau. Elle est appliquée comme exposant à la longueur de la séquence, qui est ensuite utilisée pour diviser le score de la séquence. Étant donné que le score est la log vraisemblance de la séquence (c’est-à-dire négative), length_penalty > 0.0 favorise les séquences plus longues, tandis que length_penalty < 0.0 encourage les séquences plus courtes.
• no_repeat_ngram_size (int, facultatif) — Si défini sur un int > 0, tous les n-grammes de cette taille ne peuvent apparaître qu’une seule fois.
• bad_words_ids (list[list[int]], facultatif) — Liste de listes d’identifiants de jetons qui ne sont pas autorisés à être générés. Consultez NoBadWordsLogitsProcessor pour une documentation et des exemples supplémentaires.
• renormalize_logits (bool) — Indique s'il faut renormaliser les logits après l'application de tous les processeurs de logits (y compris les personnalisés). Il est fortement recommandé de définir ce drapeau sur True, car les algorithmes de recherche supposent que les logits de score sont normalisés, mais certains processeurs de logits brisent cette normalisation.
• forced_bos_token_id (int, facultatif, par défaut model.config.forced_bos_token_id) — L’identifiant du jeton à forcer comme premier jeton généré après le decoder_start_token_id. Utile pour les modèles multilingues comme mBART où le premier jeton généré doit être le jeton de la langue cible.
• forced_eos_token_id (int or list[int], *optional*, defaults to model.config.forced_eos_token_id) -- The id of the token to force as the last generated token when max_length` is reached. Optionally, use a list to set multiple end-of-sequence tokens.
• remove_invalid_values (bool) — Indique s'il faut supprimer les éventuelles sorties nan et inf du modèle afin d'empêcher la méthode de génération de planter. Notez que l'utilisation de remove_invalid_values peut ralentir la génération.
• exponential_decay_length_penalty (tuple(int, float), facultatif) — Ce Tuple ajoute une pénalité de longueur à croissance exponentielle, après la génération d'un certain nombre de jetons. Le tuple doit être composé de : (start_index, decay_factor) où start_index indique le point de départ de la pénalité et decay_factor représente le facteur de décroissance exponentielle
• suppress_tokens (list[int], facultatif) — Une liste de jetons qui seront supprimés lors de la génération. Le processeur de logits SuppressTokens définira leurs probabilités de log à -inf afin qu'ils ne soient pas échantillonnés.
• begin_suppress_tokens (list[int], facultatif) — Une liste de jetons qui seront supprimés au début de la génération. Le processeur de logits SuppressBeginTokens définira leurs probabilités de log à -inf afin qu'ils ne soient pas échantillonnés.
• sequence_bias (dict[tuple[int], float], facultatif) — Dictionnaire qui associe une séquence de jetons à son terme de biais. Les biais positifs augmentent les probabilités que la séquence soit sélectionnée, tandis que les biais négatifs font l’inverse. Consultez SequenceBiasLogitsProcessor pour une documentation et des exemples supplémentaires.
• token_healing (bool) — Répare les jetons de fin des prompts en les remplaçant par leurs extensions appropriées. Cela améliore la qualité des complétions pour les prompts affectés par le biais de tokenisation gloutonne.
• guidance_scale (float, facultatif) — L'échelle de guidage pour le guidage sans classifieur (CFG). Le CFG est activé en définissant guidance_scale > 1. Une échelle de guidage plus élevée encourage le modèle à générer des échantillons plus étroitement liés au prompt d'entrée, généralement au détriment de la qualité.
• watermarking_config (BaseWatermarkingConfig ou dict, facultatif) — Arguments utilisés pour apposer un filigrane sur les sorties du modèle en ajoutant un petit biais à un ensemble aléatoire de jetons « verts ». Consultez la documentation de SynthIDTextWatermarkingConfig et de WatermarkingConfig pour plus de détails. S’il est passé sous forme de Dict, il sera converti en WatermarkingConfig en interne.

Paramètres qui définissent les variables de sortie de generate

• num_return_sequences (int, facultatif) — Le nombre de séquences retournées, calculées de manière indépendante, pour chaque élément du lot.
• output_attentions (bool) — Indique s'il faut retourner les tenseurs d'attentions de toutes les couches d'attention. Voir attentions sous les tenseurs retournés pour plus de détails.
• output_hidden_states (bool) — Indique s'il faut retourner les états cachés de toutes les couches. Voir hidden_states sous les tenseurs retournés pour plus de détails.
• output_scores (bool) — Indique s'il faut ou non retourner les scores de prédiction. Voir scores sous les tenseurs retournés pour plus de détails.
• output_logits (bool) — Whether or not to return the unprocessed prediction logit scores. See logits under returned tensors for more details.
• return_dict_in_generate (bool) — Indique s'il faut retourner un ModelOutput, par opposition à retourner uniquement la séquence générée. Ce drapeau doit être défini sur True pour retourner le cache de génération (lorsque use_cache est True) ou les sorties optionnelles (voir les drapeaux commençant par output_)

Jetons spéciaux qui peuvent être utilisés lors de la génération

• pad_token_id (int, facultatif) — L'identifiant du jeton de remplissage.
• bos_token_id (int, facultatif) — L’identifiant du jeton de début de séquence.
• eos_token_id (Union[int, list[int]], facultatif) — L’identifiant du jeton end-of-sequence. Facultativement, utilisez une liste pour définir plusieurs jetons end-of-sequence.

Paramètres de génération exclusifs aux modèles encodeur-décodeur

• encoder_no_repeat_ngram_size (int, facultatif) — Si défini sur un int > 0, tous les n-grammes de cette taille présents dans encoder_input_ids ne peuvent pas apparaître dans decoder_input_ids.
• decoder_start_token_id (int ou list[int], facultatif) — Si un modèle encodeur-décodeur commence le décodage avec un jeton différent de bos, l’identifiant de ce jeton ou une liste de longueur batch_size. Indiquer une liste permet d’utiliser des identifiants de départ différents pour chaque élément du lot (par exemple, des modèles multilingues avec des langues cibles différentes dans un même lot)

Paramètres de génération exclusifs à la génération d'assistant

• is_assistant (bool) — Indique si le modèle est un modèle assistant (brouillon).
• num_assistant_tokens (int, facultatif) — Définit le nombre de jetons spéculatifs qui doivent être générés par le modèle assistant avant d’être vérifiés par le modèle cible à chaque itération. Des valeurs plus élevées pour num_assistant_tokens rendent la génération plus spéculative : si le modèle assistant est performant, des accélérations plus importantes peuvent être obtenues ; si le modèle assistant nécessite de nombreuses corrections, les accélérations obtenues seront plus faibles.
• num_assistant_tokens_schedule (str, facultatif) — Définit le calendrier selon lequel le nombre maximal de jetons de l'assistant doit être modifié pendant l'inférence.
  • "heuristic" : lorsque tous les jetons spéculatifs sont corrects, augmente num_assistant_tokens de 2, sinon réduis-le de 1. La valeur de num_assistant_tokens est conservée sur plusieurs appels de génération avec le même modèle assistant.
  • "heuristic_transient" : Identique à "heuristic", mais num_assistant_tokens est réinitialisé à sa valeur initiale après chaque appel de génération.
  • "constant" : num_assistant_tokens reste inchangé pendant la génération
• assistant_confidence_threshold (float, facultatif) — Seuil de confiance pour le modèle assistant. Si la confiance du modèle assistant dans sa prédiction pour le jeton actuel est inférieure à ce seuil, le modèle assistant arrête l’itération de génération du jeton en cours, même si le nombre de jetons spéculatifs (défini par num_assistant_tokens) n’a pas encore été atteint. Le seuil de confiance de l’assistant est ajusté au fil des itérations spéculatives afin de réduire le nombre de passages avant inutiles du modèle de brouillon et du modèle cible, avec une tendance à éviter les faux négatifs. La valeur de assistant_confidence_threshold est conservée sur plusieurs appels de génération avec le même modèle assistant. Il s’agit d’une version non supervisée du Dynamic Speculation Lookahead de Dynamic Speculation Lookahead Accelerates Speculative Decoding of Large Language Models https://huggingface.co/papers/2405.04304.
• prompt_lookup_num_tokens (int, facultatif) — Le nombre de jetons à produire en tant que jetons candidats.
• max_matching_ngram_size (int, facultatif) — Taille maximale des n-grammes à prendre en compte pour la correspondance dans le prompt. La valeur par défaut est 2 si aucune valeur n’est fournie.
• assistant_early_exit(int, optional) — Si défini sur un entier positif, la sortie anticipée du modèle sera utilisée comme assistant. Ne peut être utilisé qu’avec des modèles prenant en charge la sortie anticipée (c’est-à-dire des modèles dont les logits des couches intermédiaires peuvent être interprétés par la tête du LM).
• assistant_lookbehind(int, optionnel) — Si défini sur un entier positif, le processus de réencodage prendra également en compte les assistant_lookbehind derniers jetons de l’assistant pour aligner correctement les jetons. Ne peut être utilisé qu’avec des tokenizers différents dans le décodage spéculatif. Voir ce blog pour plus de détails.
• target_lookbehind(int, facultatif) — Si défini sur un entier positif, le processus de réencodage prendra également en compte les target_lookbehind derniers jetons cibles pour aligner correctement les jetons. Ne peut être utilisé qu’avec des tokenizers différents dans le décodage spéculatif. Voir ce blog pour plus de détails.
• assistant_ensemble_weight (float, facultatif) — Active la vérification d’ensemble statique dans le décodage spéculatif. Si définie avec une valeur dans (0.0, 1.0), le vérificateur accepte les jetons par rapport au mélange w * p_target + (1 - w) * q_draft au lieu de p_target, échangeant un biais distributionnel contrôlé contre un taux d’acceptation plus élevé. La valeur par défaut est None, ce qui maintient le décodage sans perte. Nécessite que le modèle assistant retourne des logits, il n’est donc pas compatible avec le décodage par recherche de prompt.
• speculation_type (str, facultatif) — Le type de spéculation demandé. Les valeurs acceptées sont dflash.

Paramètres liés aux performances et à la compilation

• compile_config (CompileConfig, facultatif) — Lors de l'utilisation d'un cache compilable, ce paramètre contrôle la manière dont generate compile le passage avant pour une inférence plus rapide.
• disable_compile (bool) — Indique s'il faut désactiver la compilation automatique du passage avant. La compilation automatique a lieu lorsque des critères spécifiques sont remplis, notamment l'utilisation d'un cache compilable. Veuillez ouvrir un ticket si vous constatez le besoin d'utiliser ce drapeau.