Annotasyonlu Model Kartı Şablonu

Yayınlamaya hazırlanıyor musunuz? Kısa, bilgilendirici ve kullanıcı dostu bir model yayını için temel adımları görmek üzere Model Release Checklist belgesine göz atın.

Şablon

modelcard_template.md dosyası

Yönler

Bir model kartını eksiksiz doldurmak, birkaç farklı rolün girdisini gerektirir. (Bir kişi birden fazla role sahip olabilir.) Bu rollere geliştirici (kodu yazan ve eğitimi yürüten kişi), sosyoteknik (teknoloji ile toplumun uzun vadeli etkileşimini analiz etme konusunda uzman olan kişi; bu avukatları, etik uzmanlarını, sosyologları veya hak savunucularını kapsar) ve proje organizatörü (modelin genel kapsamını ve erişimini anlayan, kartın her bölümünü kabaca doldurabilen ve model kartı güncellemeleri için iletişim kişisi olarak görev yapan kişi) olarak atıfta bulunacağız.

• Geliştirici, Eğitim Prosedürü ve Teknik Özellikler bölümlerinin doldurulması için gereklidir. Ayrıca Önyargılar, Riskler ve Sınırlamalar bölümünün “Sınırlamalar” kısmı için de özellikle faydalıdır. Değerlendirme için Sonuçları sağlamaktan sorumludur ve ideal olarak Değerlendirmenin geri kalanını tanımlamak için diğer rollerle birlikte çalışır: Test Verileri, Faktörler ve Metrikler.

• sociotechnic, Tarif, Riskler ve Sınırlamalar içindeki “Tarif” ve “Riskler” bölümlerinin doldurulması için gereklidir ve özellikle Kullanımlar içindeki “Kapsam Dışı Kullanım” için faydalıdır.

• Proje organizatörü, Model Detayları ve Kullanımlar bölümlerinin doldurulması için gereklidir. Eğitim Verisi bölümünü de doldurabilirler. Proje organizatörleri ayrıca Atıf, Sözlük, Model Kartı İletişim, Model Kartı Yazarları ve Daha Fazla Bilgi bölümlerinden de sorumlu olabilirler.

Aşağıda, italik olarak talimatlar verilmiştir.

Şablon değişken adları monospace olarak görünür.

---

Model Adı

Bölüm Özeti: Model adını ve modelin ne olduğunu özetleyen 1-2 cümlelik bir açıklama sağlayın.

model_id

model_summary

İçindekiler

Bölüm Özeti: Her bölüme bağlantılar içeren bu bölümü sağlayın; böylece kişiler dosyayı kolayca farklı konumlarda kullanabilir, korunan TOC ile içeriği yazdırabilir vb.

Model Detayları

Bölüm Özeti: Bu bölüm, modelin ne olduğu, mevcut durumu ve kökeni hakkında temel bilgiler sunar. Modeli referans almak isteyen herkes için faydalı olmalıdır.

Model Açıklaması

model_description

Model hakkında temel bilgileri sağlayın. Bu, mimari, sürüm, bir makalede tanıtılıp tanıtılmadığı, orijinal bir uygulamanın mevcut olup olmadığı ve oluşturucuları içerir. Telif hakları burada belirtilmelidir. Eğitim prosedürleri, parametreler ve önemli uyarılar hakkında genel bilgiler de bu bölümde yer alabilir.

• Geliştiriciler: developers

Modeli geliştiren kişileri (mümkünse bağlantılarıyla birlikte) listeleyin.

• Destekleyenler: funded_by

Bu modeli finansal, hesaplama veya başka şekillerde destekleyen veya mümkün kılan fonlama kaynaklarını (ve mümkünse bağlantılarını) listeleyin.

• Paylaşan [isteğe bağlı]: shared_by

Modeli çevrimiçi olarak sunan kişi/organizasyonları (ve mümkünse bağlantılarını) listele.

• Model türü: model_type

“type” adını şu şekilde verebilirsiniz:

1. Denetim/Öğrenme Yöntemi

2. Makine Öğrenmesi Türü

3. Modalite

• Dil(ler) [NLP]: language

Sistem doğal (insan) dilini kullanıyor veya işliyorsa bu alanı kullanın.

• Lisans: license

Kullanılan lisansın adı ve bağlantısı.

• Modelden İnce Ayarlandı [isteğe bağlı]: base_model

Bu modelin bir taban modeli varsa, o modele buradan bağlantı verin.

Model Kaynakları isteğe bağlı

• Depo: repo
• Makale [isteğe bağlı]: paper
• Örnek [isteğe bağlı]: demo

Kullanıcının modeli ve detaylarını doğrudan görebilmesi için kaynaklar sağlayın. Eğitim günlükleri, çıkarılan dersler vb. gibi ek kaynak türleri Daha Fazla Bilgi bölümüne aittir. Bu bölüm için bir şey dahil ediyorsanız, depoya bağlantı verin.

Kullanım Alanları

Bölüm Özeti: Bu bölüm, modelin farklı uygulama bağlamlarında nasıl kullanılması gerektiğine ilişkin soruları ele alır, modelin öngörülen kullanıcılarını (modelden etkilenenler dahil) tartışır ve modelin kapsam dışı veya kötüye kullanım olarak kabul edilen kullanım alanlarını açıklar. Bu bölümün, lisans kullanım ayrıntılarını içermesi amaçlanmamaktadır. Bunun için doğrudan lisansa bağlantı verin.

Doğrudan Kullanım

direct_use

Modelin ince ayar, son işlem veya bir iş akışına bağlanma gerektirmeden nasıl kullanılabileceğini açıklayın. Bir örnek kod parçası önerilir.

Aşağı Akım Kullanımı isteğe bağlı

downstream_use

Bu modelin bir görev için ince ayar yapıldığında veya daha büyük bir ekosisteme veya uygulamaya entegre edildiğinde nasıl kullanılabileceğini açıklayın. Bir örnek kod parçası önerilir.

Kapsam Dışı Kullanım

out_of_scope_use

Modelin öngörülebilir şekilde nasıl kötüye kullanılacağını (işi görmediği bir şekilde kullanılmasını) listeleyin ve kullanıcıların modelle yapmaması gereken şeylere değinin.

Önyargılar, Riskler ve Sınırlamalar

Bölüm Özeti: Bu bölüm, öngörülebilir zararları, yanlış anlaşılmaları ve teknik ile sosyoteknik sınırlamaları belirler. Ayrıca uyarılar ve olası azaltma önlemleri hakkında bilgi sağlar. Yanlılık, riskler ve sınırlamalar bazen ayrılamaz/hem aynı sorunlara atıfta bulunabilir. Genel olarak yanlılık ve riskler sosyoteknik nitelikteyken sınırlamalar teknik niteliktedir:

• Önyargı, bazı alt popülasyonlar için bir klişe veya orantısız performans (eğrilik) anlamına gelir.
• Bir risk, modelin neden olabileceği toplumsal açıdan önemli bir sorundur.
• Bir kısıtlama, listelenen Öneriler izlenerek ele alınabilecek olası bir başarısızlık modudur.

bias_risks_limitations

Bu modelin bilinen veya öngörülebilir sorunları nelerdir?

Öneriler

bias_recommendations

Öngörülen sorunlara ilişkin öneriler nelerdir? Bu, “görüntünüzü küçültün”den açık içeriği filtrelemeye kadar her şeyi içerebilir.

Eğitim Detayları

Bölüm Özeti: Bu bölüm, eğitim sürecini açıklamak ve yeniden oluşturmak için bilgi sağlar; bu bilgiler arasında eğitim verileri, eğitim öğelerinin hızı ve boyutu ile eğitimin çevresel etkisi yer alır. Bu bölüm, Teknik Özellikler ile de yakından ilişkilidir ve eğitim prosedürüyle ilgili olduğu durumlarda bu bölüme bağlantı verilmelidir. Model girdileri ve eğitim ayak izi hakkında daha fazla bilgi edinmek isteyenler için faydalıdır. Modelin ne öğrendiğinin temellerini bilmek isteyen herkes için ilgilidir.

Eğitim Verisi

training_data

Eğitim verisinin ne olduğunu 1-2 cümleyle açıklayın. İdeal olarak bu, daha fazla bilgi için bir Veri Seti Kartı'na bağlantı verir. Veri ön işleme veya ek filtrelemeyle ilgili belgelere bağlantılar da buraya ve Daha Fazla Bilgi bölümüne eklenebilir.

Eğitim Prosedürü isteğe bağlı

Ön işleme

preprocessing

Ayrıntılı tokenizasyon, yeniden boyutlandırma/yeniden yazma (modalliteye bağlı olarak) vb.

Hızlar, Boyutlar, Süreler

speeds_sizes_times

Detaylı işleme hızı, başlangıç/bitiş zamanı, checkpoint boyutları vb.

Değerlendirme

Bölüm Özeti: Bu bölüm, değerlendirme protokollerini, değerlendirmede neyin ölçüldüğünü açıklar ve sonuçları sunar. İdeal olarak değerlendirme en az iki kısımdan oluşur; bir kısım genel performansın nicel ölçümüne (Test Verileri, Faktörler ve Metrikler) odaklanır (örneğin benchmarking ile yapılabilir); diğeri ise belirli toplumsal güvenlik sorunlarına ilişkin performansa (Toplumsal Etki Değerlendirmesi) odaklanır (örneğin red-teaming ile yapılabilir). Modelinizin değerlendirme sonuçlarını ayrıca model kartı meta verilerinde yapılandırılmış bir şekilde belirtebilirsiniz. Sonuçlar Hub tarafından ayrıştırılır ve model sayfasında bir widget'ta görüntülenir. https://huggingface.co/docs/hub/model-cards#evaluation-results adresine bakın.

Test Verileri, Faktörler ve Metrikler

Değerlendirme, ideal olarak görev, alan ve nüfus alt grubu gibi farklı faktörlere göre ayrıştırılmış olmalı ve öngörülen kullanım bağlamları için en anlamlı olan metriklerle hesaplanmalıdır. Farklı alt gruplar arasında eşit değerlendirme performansı, bu alt gruplar arasında “adil” olarak adlandırılır; hedef adalet metrikleri, model kullanımına göre hangi hataların daha sorunlu olma olasılığının yüksek olduğuna dayanarak belirlenmelidir. Ancak bu bölüm, farklı görev kıstaslarındaki toplam değerlendirme performansını raporlamak için en yaygın olarak kullanılır.

Test Verileri

testing_data

Test verilerini açıklayın veya Dataset Card'ına bağlantı verin.

Etkenler

testing_factors

Modelin davranışını etkileyecek öngörülebilir özellikler nelerdir? Performanstaki farklılıkları ortaya çıkarmak için değerlendirme, ideal olarak bu faktörler üzerinden ayrıştırılmalıdır.

Metrikler

testing_metrics

Değerlendirme için hangi metrikler kullanılacak?

Sonuçlar

results

Sonuçlar, yukarıda tanımlanan Faktörler ve Metrikler temel alınarak oluşturulmalıdır.

Özet

results_summary

Sonuçlar ne söylüyor? Bu, genel kitleler için bir tür özet işlevi görebilir.

Toplumsal Etki Değerlendirmesi isteğe bağlı

Bu ücretsiz metin bölümünü, modelin toplumsal zarar riski açısından nasıl değerlendirildiğini açıklamak için kullanın; bu, çocuk güvenliği, NCII, gizlilik ve şiddet gibi konuları kapsayabilir. Bu, aşağıdaki sorulara verilen yanıtlar biçiminde olabilir:

• Bu modelin çocuklar tarafından kullanılması güvenli mi? Neden ya da neden değil?
• Bu model, rıza dışı samimi görüntülerle (CSEM dahil) ilgili riskleri değerlendirmek için test edildi mi?
• Bu model, şiddet içeren faaliyetlere veya şiddet tasvirlerine ilişkin riskleri değerlendirmek için test edildi mi? Sonuçlar nelerdi?

Her sorun için nicel sayılar da sağlanabilir.

Model İncelemesi isteğe bağlı

Bölüm Özeti: Bu, bazı geliştiricilerin eklemeye başladığı deneysel bir bölümdür; açıklanabilirlik/yorumlanabilirlik üzerine çalışmalar burada yer alabilir.

model_examination

Çevresel Etki

Bölüm Özeti: Elektrik tüketimi ve karbon emisyonları gibi çevresel etkileri hesaplamak için gerekli bilgileri özetler.

• Donanım Türü: hardware_type
• Kullanılan saat: hours_used
• Bulut Sağlayıcısı: cloud_provider
• Hesaplama Bölgesi: cloud_region
• Salınan Karbon: co2_emitted

Karbon emisyonları, Lacoste et al. (2019)'de sunulan Machine Learning Impact calculator kullanılarak tahmin edilebilir.

Teknik Özellikler isteğe bağlı

Bölüm Özeti: Bu bölüm, model hedefi ve mimarisi ile hesaplama altyapısı hakkında ayrıntılar içerir. Model geliştirmeye ilgi duyan kişiler için faydalıdır. Bu bölümün yazılması genellikle model geliştiricisinin doğrudan dahil olmasını gerektirir.

Model Mimarisi ve Hedef

model_specs

Hesaplama Altyapısı

compute_infrastructure

Donanım

hardware_requirements

En düşük donanım gereksinimleri nelerdir, örneğin işlem, depolama ve bellek gereksinimleri?

Yazılım

software

Atıf isteğe bağlı

Bölüm Özeti: Geliştiricilerin bu model için tercih ettiği atıf. Bu genellikle bir makaledir.

BibTeX

citation_bibtex

APA

citation_apa

Glossary isteğe bağlı

Bölüm Özeti: Bu bölüm, ortak terimleri ve metriklerin nasıl hesaplandığını tanımlar.

glossary

Farklı kitlelere hitap edebilmek için terimleri açıkça tanımlayın.

Daha Fazla Bilgi isteğe bağlı

Bölüm Özeti: Bu bölüm, veri seti oluşturma, teknik spesifikasyonlar, edinilen dersler ve başlangıç sonuçları üzerine yazılara bağlantılar sağlar.

more_information

Model Kartı Yazarları isteğe bağlı

Bölüm Özeti: Bu bölüm, model kartını oluşturan kişileri listeler ve kartın hazırlanmasına giden detaylı iş için tanınma ve hesap verebilirlik sağlar.

model_card_authors

Model Kartı İletişim

Bölüm Özeti: Model Kartı güncellemeleri, önerileri veya soruları olan kişilerin Model Kartı yazarlarıyla iletişime geçmesini sağlar

model_card_contact

Model ile Nasıl Başlanır

Bölüm Özeti: Modelin nasıl kullanılacağını gösteren bir kod parçacığı sağlar.

get_started_code

---

Lütfen şu şekilde atıf yapın: Ozoani, Ezi and Gerchick, Marissa and Mitchell, Margaret. Model Card Guidebook. Hugging Face, 2022. https://huggingface.co/docs/hub/en/model-card-guidebook

Update on GitHub