Transformers documentation
UL2
نُشر هذا النموذج في أوراق HF في 10 مايو 2022، وأُضيف إلى مكتبة Hugging Face Transformers في 20 يونيو 2023.
UL2
نظرة عامة
تم تقديم نموذج T5 في Unifying Language Learning Paradigms بواسطة Yi Tay وMostafa Dehghani وVinh Q. Tran وXavier Garcia وDara Bahri وTal Schuster وHuaixiu Steven Zheng وNeil Houlsby وDonald Metzler.
المستخلص من الورقة البحثية هو كالتالي:
تتجه النماذج المُدرَّبة مسبقًا الموجودة حاليًا بشكل عام نحو فئة محددة من المشكلات. وحتى الآن، لا يبدو أن هناك إجماعًا على ما يجب أن تكون عليه البنية المناسبة وإعداد التدريب المسبق. يقدم هذا الورقة إطارًا موحّدًا لتدريب نماذج فعّالة بشكل شامل عبر مجموعات البيانات والإعدادات المختلفة. نبدأ بفصل الأنماط المعمارية عن أهداف التدريب المسبق — وهما مفهومان يُخلط بينهما عادةً. ثم نقدم منظورًا عامًا وموحّدًا للإشراف الذاتي في معالجة اللغة الطبيعية، ونوضح كيف يمكن صياغة أهداف التدريب المسبق المختلفة على أنها أهداف أخرى، وكيف يمكن أن يكون الاستيفاء بين الأهداف المختلفة فعّالًا. بعد ذلك، نقترح مزيج المُزيلات (Mixture-of-Denoisers)، وهو هدف تدريب مسبق يجمع بين أنظمة التدريب المسبق المتنوعة. كما نعرّف مفهوم تبديل الأوضاع، حيث يرتبط الضبط الدقيق في المهام الفرعية بأنظمة تدريب مسبق محددة. أجرينا تجارب استئصالية موسّعة لمقارنة أهداف تدريب مسبق متعددة، ووجدنا أن منهجيتنا تدفع حدود باريتو إلى الأمام من خلال تفوقها على نماذج T5 و/أو نماذج مشابهة لـ GPT عبر إعدادات متنوعة متعددة. أخيرًا، من خلال توسيع نموذجنا ليصل إلى 20 مليار معامل، حققنا أداءً متقدمًا (SOTA) في 50 مهمة إشرافية راسخة في معالجة اللغة الطبيعية، تتراوح بين توليد اللغة (مع التقييم الآلي والبشري)، وفهم اللغة، وتصنيف النصوص، والإجابة عن الأسئلة، والاستدلال الشائع، والاستدلال على النصوص الطويلة، وتثبيت المعرفة المهيكلة، واسترجاع المعلومات. كما حقق نموذجنا نتائج قوية في التعلم السياقي، متفوقًا على GPT-3 بحجم 175 مليار معامل في مهمة SuperGLUE بدون أمثلة، ومضاعفًا أداء T5-XXL ثلاث مرات في مهمة تلخيص بنقرة واحدة.
تمت مساهمة هذا النموذج من قِبل DanielHesslow. يمكن العثور على الكود الأصلي هنا.
نصائح للاستخدام
- UL2 هو نموذج مُرمِّز-مُفكِّك (encoder-decoder) تم تدريبه مسبقًا على خليط من وظائف إزالة الضوضاء، كما تم ضبطه بدقة على مجموعة من المهام الفرعية.
- يتميز UL2 بنفس البنية المعمارية لـ T5v1.1 لكنه يستخدم دالة التنشيط Gated-SiLU بدلاً من Gated-GELU.
- ينشر المؤلفون نقاط تفتيش لبنية واحدة يمكن الاطلاع عليها هنا
Update on GitHubبما أن UL2 يتبنى نفس البنية المعمارية الخاصة بـ T5v1.1، يُرجى الرجوع إلى صفحة توثيق T5 للاطلاع على مرجع واجهة برمجة التطبيقات (API) والنصائح وأمثلة الأكواد ودفاتر الملاحظات.