Modèle de carte de modèle annoté

Prêt à publier ? Consultez la Model Release Checklist pour les étapes essentielles d'une publication de modèle concise, informative et conviviale.

Modèle

fichier modelcard_template.md

Instructions

Remplir entièrement une carte de modèle nécessite l’apport de plusieurs rôles différents. (Une même personne peut cumuler plusieurs rôles.) Nous désignerons ces rôles par le développeur, qui écrit le code et lance l’entraînement ; l’expert en sociotechnique, qui maîtrise l’analyse des interactions à long terme entre la technologie et la société (ce qui inclut les juristes, les éthiciens, les sociologues ou les défenseurs des droits) ; et l’organisateur de projet, qui comprend l’ampleur et la portée globale du modèle, est capable de remplir approximativement chaque section de la carte et sert de point de contact pour les mises à jour de la carte de modèle.

• Le développeur est indispensable pour compléter les sections Procédure d’entraînement et Spécifications techniques. Il est également particulièrement utile pour la section « Limitations » de Biais, risques et limites. Il est responsable de la fourniture des Résultats de l’évaluation et travaille idéalement avec les autres rôles pour définir le reste de l’évaluation : Données de test, facteurs et métriques.

• Le sociotechnic est nécessaire pour remplir les sections « Bias » et « Risks » dans Bias, Risks, and Limitations, et est particulièrement utile pour « Out of Scope Use » dans Uses.

• Le coordinateur de projet est nécessaire pour remplir les sections Détails du modèle et Utilisations. Il peut également remplir la section Données d'entraînement. Les coordinateurs de projet peuvent aussi être chargés des sections Citation, Glossaire, Contact de la fiche modèle, Auteurs de la fiche modèle et Informations complémentaires.

Les instructions sont fournies ci-dessous, en italique.

Les noms de variables de modèle apparaissent en monospace.

---

Nom du modèle

Aperçu de la section : Fournissez le nom du modèle et un résumé en 1 à 2 phrases de ce qu'est le modèle.

model_id

model_summary

Table des matières

Aperçu de la section : Fournissez ceci avec des liens vers chaque section, afin de permettre aux utilisateurs de naviguer facilement, d’utiliser le fichier dans d’autres emplacements avec la table des matières préservée, d’imprimer le contenu, etc.

Détails du modèle

Aperçu de la section : Cette section fournit des informations de base sur ce qu'est le modèle, son statut actuel et son origine. Elle doit être utile à toute personne souhaitant référencer le modèle.

Description du modèle

model_description

Fournissez les informations de base sur le modèle. Cela inclut l’architecture, la version, s’il a été introduit dans un article, si une implémentation originale est disponible, ainsi que les créateurs. Tout droit d’auteur doit être mentionné ici. Des informations générales sur les procédures d’entraînement, les paramètres et les avertissements importants peuvent également être inclus dans cette section.

• Développé par : developers

Listez (et idéalement, liez) les personnes qui ont construit le modèle.

• Financé par : funded_by

Listez (et idéalement, fournissez des liens vers) les sources de financement qui ont soutenu ou permis la réalisation de ce modèle, que ce soit financièrement, en termes de puissance de calcul ou autrement.

• Partagé par [facultatif] : shared_by

Listez (et idéalement, liez) les personnes ou l’organisation qui mettent le modèle à disposition en ligne.

• Type de modèle : model_type

Vous pouvez nommer le « type » comme suit :

1. Méthode de supervision/apprentissage

2. Type d'apprentissage automatique

3. Modalité

• Langue(s) [NLP] : language

Utilisez ce champ lorsque le système utilise ou traite le langage naturel (humain).

• License : license

Nom et lien vers la licence utilisée.

• Modèle de base pour l'ajustement fin [facultatif] : base_model

Si ce modèle a un autre modèle comme base, liez-vous à ce modèle ici.

Sources de modèles facultatif

• Dépôt : repo
• Article [facultatif] : paper
• Démo [facultatif] : demo

Fournissez des sources permettant à l’utilisateur de consulter directement le modèle et ses détails. Les autres types de ressources – journaux d’entraînement, leçons apprises, etc. – doivent figurer dans la section Plus d’informations. Si vous n’incluez qu’un seul élément pour cette section, liez-le au dépôt.

Utilisations

Aperçu de la section : Cette section aborde les questions relatives à la manière dont le modèle est destiné à être utilisé dans différents contextes appliqués, discute des utilisateurs prévisibles du modèle (y compris ceux qui sont affectés par le modèle) et décrit les utilisations considérées comme hors du périmètre ou comme un mauvais usage du modèle. Notez que cette section n'est pas destinée à inclure les détails d'utilisation de la licence. Pour cela, faites un lien direct vers la licence.

Utilisation directe

direct_use

Décrivez comment le modèle peut être utilisé sans fine-tuning, post-traitement ou intégration dans un pipeline. Un extrait de code est recommandé.

Utilisation en aval facultatif

downstream_use

Décrivez comment ce modèle peut être utilisé lorsqu'il est ajusté finement pour une tâche ou lorsqu'il est intégré à un écosystème ou à une application plus large. Un extrait de code est recommandé.

Utilisation hors périmètre

out_of_scope_use

Listez les utilisations prévisibles du modèle qui pourraient en compromettre le fonctionnement (mauvaises utilisations) et précisez ce que les utilisateurs ne doivent pas faire avec le modèle.

Biais, risques et limites

Aperçu de la section : Cette section identifie les préjudices prévisibles, les malentendus ainsi que les limites techniques et sociotechniques. Elle fournit également des informations sur les avertissements et les mesures d’atténuation potentielles. Les biais, les risques et les limites peuvent parfois être indissociables ou renvoyer aux mêmes problèmes. En général, les biais et les risques sont sociotechniques, tandis que les limites sont techniques :

• Un bias est un stéréotype ou une performance disproportionnée (biais) pour certaines sous-populations.
• Un risque est un problème socialement pertinent que le modèle pourrait provoquer.
• Une limitation est un mode de défaillance probable qui peut être traité en suivant les recommandations listées.

bias_risks_limitations

Quels sont les problèmes connus ou prévisibles liés à ce modèle ?

Recommandations

bias_recommendations

Quelles sont les recommandations concernant les problèmes prévisibles ? Cela peut inclure tout, de « sous-échantillonnez votre image » au filtrage des contenus explicites.

Détails de l'entraînement

Aperçu de la section : Cette section fournit des informations pour décrire et reproduire l'entraînement, notamment les données d'entraînement, la vitesse et la taille des éléments d'entraînement, ainsi que l'impact environnemental de l'entraînement. Elle est étroitement liée aux Spécifications techniques, et le contenu de cette section doit y renvoyer lorsque cela concerne la procédure d'entraînement. Elle est utile pour les personnes souhaitant en savoir plus sur les entrées du modèle et son empreinte d'entraînement. Elle concerne toute personne souhaitant connaître les bases de ce que le modèle apprend.

Données d'entraînement

training_data

Rédigez 1 à 2 phrases décrivant les données d’entraînement. Idéalement, cela renvoie vers une fiche de jeu de données pour plus d’informations. Les liens vers la documentation relative au prétraitement des données ou au filtrage supplémentaire peuvent également figurer ici ainsi que dans Informations complémentaires.

Procédure d'entraînement optionnel

Prétraitement

preprocessing

Détaillez la tokenisation, le redimensionnement/la réécriture (selon la modalité), etc.

Vitesses, tailles, durées

speeds_sizes_times

Détail du débit, heure de début/fin, tailles des points de contrôle, etc.

Évaluation

Aperçu de la section : Cette section décrit les protocoles d'évaluation, ce qui est mesuré lors de l'évaluation, et fournit les résultats. L'évaluation comporte idéalement au moins deux parties, l'une portant sur la mesure quantitative des performances générales (Données de test, facteurs et métriques), comme cela peut être fait lors de tests de référence ; et l'autre portant sur les performances par rapport à des questions spécifiques de sécurité sociale (Évaluation de l'impact sociétal), comme cela peut être fait lors de tests adverses. Vous pouvez également spécifier les résultats d'évaluation de votre modèle de manière structurée dans les métadonnées de la carte du modèle. Les résultats sont analysés par le Hub et affichés dans un widget sur la page du modèle. Voir https://huggingface.co/docs/hub/model-cards#evaluation-results.

Données de test, facteurs et métriques

L’évaluation est idéalement dissociée par rapport à différents facteurs, tels que la tâche, le domaine et le sous-groupe de population ; et calculée à l’aide de métriques les plus pertinentes pour les contextes d’utilisation prévisibles. Une performance d’évaluation égale entre différents sous-groupes est dite « équitable » entre ces sous-groupes ; les métriques d’équité ciblées doivent être déterminées en fonction des erreurs les plus susceptibles de poser problème au regard de l’utilisation du modèle. Toutefois, cette section est le plus souvent utilisée pour rapporter la performance d’évaluation agrégée sur différents benchmarks de tâches.

Données de test

testing_data

Décrire les données de test ou fournir un lien vers sa Dataset Card.

Facteurs

testing_factors

Quelles sont les caractéristiques prévisibles qui influenceront le comportement du modèle ? L'évaluation devrait idéalement être dissociée selon ces facteurs afin de révéler les disparités de performance.

Métriques

testing_metrics

Quelles métriques seront utilisées pour l'évaluation ?

Résultats

results

Les résultats doivent être fondés sur les facteurs et les métriques définis ci-dessus.

Résumé

results_summary

Que disent les résultats ? Cela peut servir de résumé pour un public général.

Évaluation de l'impact sociétal facultative

Utilisez cette section de texte libre pour expliquer comment ce modèle a été évalué en termes de risque de préjudice sociétal, par exemple en matière de sécurité des enfants, de NCII, de confidentialité et de violence. Cela peut prendre la forme de réponses aux questions suivantes :

• Ce modèle est-il sûr pour les enfants ? Pourquoi ou pourquoi pas ?
• Ce modèle a-t-il été testé pour évaluer les risques liés aux images intimes non consenties (y compris le CSEM) ?
• Ce modèle a-t-il été testé pour évaluer les risques liés aux activités violentes ou aux représentations de la violence ? Quels ont été les résultats ?

Des chiffres quantitatifs peuvent également être fournis pour chaque problème.

Examen du modèle facultatif

Aperçu de la section : Il s'agit d'une section expérimentale que certains développeurs commencent à ajouter, où les travaux sur l'explicabilité/interprétabilité peuvent être intégrés.

model_examination

Impact environnemental

Aperçu de la section : Résume les informations nécessaires pour calculer les impacts environnementaux, tels que la consommation d'électricité et les émissions de carbone.

• Type de matériel : hardware_type
• Heures utilisées : hours_used
• Fournisseur cloud : cloud_provider
• Région de calcul : cloud_region
• Émissions de carbone : co2_emitted

Les émissions de carbone peuvent être estimées à l'aide de la Machine Learning Impact calculator présentée dans Lacoste et al. (2019).

Spécifications techniques facultatives

Aperçu de la section : Cette section contient des détails sur l'objectif et l'architecture du modèle, ainsi que sur l'infrastructure de calcul. Elle est utile pour les personnes intéressées par le développement de modèles. La rédaction de cette section nécessite généralement l'implication directe du développeur du modèle.

Architecture du modèle et objectif

model_specs

Infrastructure de calcul

compute_infrastructure

Matériel

hardware_requirements

Quelles sont les exigences matérielles minimales, par exemple en matière de traitement, de stockage et de mémoire ?

Logiciels

software

Citation facultative

Aperçu de la section : La citation préférée des développeurs pour ce modèle. Il s’agit souvent d’un article.

BibTeX

citation_bibtex

APA

citation_apa

Glossaire facultatif

Aperçu de la section : Cette section définit les termes courants et la manière dont les métriques sont calculées.

glossary

Définissez clairement les termes afin d’être accessible à tous les publics.

Plus d'informations facultatif

Aperçu de la section : Cette section fournit des liens vers des écrits sur la création de jeux de données, les spécifications techniques, les leçons apprises et les résultats initiaux.

more_information

Auteurs de la carte de modèle facultatif

Aperçu de la section : Cette section répertorie les personnes qui créent la carte de modèle, offrant une reconnaissance et une responsabilité pour le travail détaillé qui entre dans sa construction.

model_card_authors

Contact de la fiche modèle

Aperçu de la section : Permet aux personnes ayant des mises à jour de la fiche modèle, des suggestions ou des questions de contacter les auteurs de la fiche modèle

model_card_contact

Comment démarrer avec le modèle

Aperçu de la section : Fournit un extrait de code montrant comment utiliser le modèle.

get_started_code

---

Citez comme suit : Ozoani, Ezi and Gerchick, Marissa and Mitchell, Margaret. Model Card Guidebook. Hugging Face, 2022. https://huggingface.co/docs/hub/en/model-card-guidebook

Update on GitHub