المعاملات

• sample_size (int) — عرض الصور الكامنة. هذا ثابت أثناء التدريب لأنه يُستخدم لتعلم عدد من تضمينات المواقع.
• patch_size (int, اختياري, (int, اختياري, الافتراضي 2) — حجم كل رقعة في الصورة. يحدد هذا المعامل دقة الرقع المُدخلة إلى النموذج.
• in_channels (int، اختياري، القيمة الافتراضية 4) — عدد قنوات الإدخال للنموذج. عادةً، يتطابق هذا العدد مع عدد القنوات في صور الإدخال.
• hidden_size (int، اختياري، القيمة الافتراضية 4096) — أبعاد الطبقات المخفية في النموذج. يحدد هذا المعامل عرض التمثيلات المخفية للنموذج.
• num_layers (int، اختياري، الافتراضي 32) — عدد الطبقات في النموذج. يحدد هذا عمق الشبكة العصبية.
• num_attention_heads (int، اختياري، القيمة الافتراضية 32) — عدد رؤوس الانتباه في كل طبقة انتباه. يحدد هذا المعامل عدد آليات الانتباه المنفصلة المستخدمة.
• num_kv_heads (int، اختياري، القيمة الافتراضية 8) — عدد رؤوس المفتاح-القيمة في آلية الانتباه، إذا كان مختلفًا عن عدد رؤوس الانتباه. إذا كانت القيمة None، فإنها تتحول افتراضيًا إلى num_attention_heads.
• multiple_of (int، اختياري، القيمة الافتراضية 256) — عامل يجب أن يكون حجم المخفي مضاعفًا له. يمكن أن يساعد ذلك في تحسين بعض تكوينات الأجهزة.
• ffn_dim_multiplier (float, اختياري) — معامل مضاعف لأبعاد الشبكة الأمامية. إذا كانت القيمة None، يتم استخدام قيمة افتراضية بناءً على إعدادات النموذج.
• norm_eps (float، اختياري، القيمة الافتراضية 1e-5) — قيمة صغيرة تُضاف إلى المقام لضمان الاستقرار العددي في طبقات التطبيع.
• learn_sigma (bool، اختياري، القيمة الافتراضية True) — ما إذا كان يجب على النموذج تعلّم معامل sigma، والذي قد يكون مرتبطًا بعدم اليقين أو التباين في التنبؤات.
• qk_norm (bool، اختياري، القيمة الافتراضية True) — يحدد ما إذا كان ينبغي تطبيع الاستعلامات والمفاتيح في آلية الانتباه.
• cross_attention_dim (int، اختياري، القيمة الافتراضية 2048) — أبعاد تمثيلات النص. يحدد هذا المعامل حجم التمثيلات النصية المستخدمة في النموذج.
• scaling_factor (float, اختياري، القيمة الافتراضية 1.0) — عامل مقياس يُطبَّق على معلمات أو طبقات معينة في النموذج. يمكن استخدامه لضبط المقياس العام لعمليات النموذج.