Эта модель была опубликована в HF papers 10 мая 2022 года и добавлена в Hugging Face Transformers 20 июня 2023 года.

UL2

Обзор

Модель T5 была представлена в статье Unifying Language Learning Paradigms авторами Yi Tay, Mostafa Dehghani, Vinh Q. Tran, Xavier Garcia, Dara Bahri, Tal Schuster, Huaixiu Steven Zheng, Neil Houlsby, Donald Metzler.

Аннотация из статьи следующая:

Существующие предобученные модели, как правило, ориентированы на решение задач конкретного класса. На сегодняшний день, похоже, всё ещё не выработан консенсус относительно того, какая архитектура и схема предобучения являются оптимальными. В данной статье предлагается единая рамка для предобучения моделей, которые универсально эффективны на различных наборах данных и в разных конфигурациях. Мы начинаем с разделения архитектурных архетипов и целей предобучения — двух понятий, которые часто смешивают. Далее мы представляем обобщённый и единый взгляд на самоконтроль в NLP и показываем, как различные цели предобучения можно выразить через друг друга и как интерполяция между различными целями может быть эффективной. Затем мы предлагаем Mixture-of-Denoisers (MoD) — цель предобучения, которая объединяет различные парадигмы предобучения. Кроме того, мы вводим понятие переключения режимов, при котором дообучение для конкретных задач ассоциируется с определёнными схемами предобучения. Мы проводим обширные эксперименты с абляциями для сравнения нескольких целей предобучения и обнаруживаем, что наш метод сдвигает границу Парето, превосходя модели T5 и/или GPT-подобные модели в нескольких разнообразных конфигурациях. Наконец, масштабируя нашу модель до 20 млрд параметров, мы достигаем SOTA-результатов на 50 устоявшихся задач NLP с надзором, охватывающих генерацию языка (с автоматической и человеческой оценкой), понимание языка, классификацию текста, ответы на вопросы, рассуждения на основе здравого смысла, рассуждения над длинным текстом, привязку к структурированным знаниям и информационный поиск. Наша модель также демонстрирует сильные результаты в контекстном обучении, превосходя GPT-3 на 175 млрд параметров в zero-shot SuperGLUE и втрое превышая производительность T5-XXL в one-shot суммаризации.

Эта модель была предоставлена DanielHesslow. Исходный код можно найти здесь.

Советы по использованию

• UL2 — это модель с архитектурой «кодировщик-декодировщик», предварительно обученная на смеси функций шумоподавления, а также дообученная на наборе задач нижнего уровня.
• UL2 имеет ту же архитектуру, что и T5v1.1, но использует функцию активации Gated-SiLU вместо Gated-GELU.
• Авторы публикуют контрольные точки одной архитектуры, которые можно найти здесь

Поскольку UL2 имеет ту же архитектуру, что и T5v1.1, см. страницу документации T5 для справки по API, советов, примеров кода и ноутбуков.