このモデルは2022年5月10日にHF papersで公開され、2023年6月20日にHugging Face Transformersに貢献されました。

UL2

概要

T5モデルは、Yi Tay、Mostafa Dehghani、Vinh Q. Tran、Xavier Garcia、Dara Bahri、Tal Schuster、Huaixiu Steven Zheng、Neil Houlsby、Donald Metzler による Unifying Language Learning Paradigms で発表されました。

論文の抄録は以下の通りです。

既存の事前学習済みモデルは、特定のクラスの課題に特化して設計されているのが一般的です。現在に至るまで、適切なアーキテクチャや事前学習の設定について、まだ合意が得られていません。本論文では、データセットや設定を問わず普遍的に有効なモデルを事前学習するための統一フレームワークを提案します。まず、アーキテクチャの原型と事前学習の目的という、しばしば混同されがちな2つの概念を明確に区別します。次に、NLPにおける自己教師あり学習の一般化かつ統一された視点を示し、異なる事前学習の目的が互いに変換可能であること、および異なる目的間の補間が有効であることを示します。その後、多様な事前学習のパラダイムを組み合わせる事前学習の目的であるMixture-of-Denoisers (MoD)を提案します。さらに、モードスイッチングという概念を導入し、下流のファインチューニングが特定の事前学習スキームと関連付けられることを示します。複数の事前学習の目的を比較するために広範なアブレーション実験を実施した結果、本手法は多様な設定においてT5および/またはGPT系のモデルを上回り、パレートフロンティアを押し広げることがわかりました。最後に、モデルを20Bパラメータまでスケールアップすることで、言語生成（自動評価および人間による評価を含む）、言語理解、テキスト分類、質問応答、常識推論、長文推論、構造化知識のグラウンディング、情報検索など、50の確立された教師ありNLPタスクにおいてSOTAの性能を達成しました。本モデルはインコンテキスト学習においても優れた結果を示し、ゼロショットSuperGLUEでは175BのGPT-3を上回り、ワンショット要約ではT5-XXLの性能を3倍に向上させました。

このモデルは DanielHesslow によって提供されました。元のコードは こちら で確認できます。

使用のコツ

• UL2は、ノイズ除去機能の混合データで事前学習されたエンコーダー・デコーダーモデルであり、さらに多様な下流タスクでファインチューニングされています。
• UL2はT5v1.1と同じアーキテクチャを持ちますが、Gated-GELUの代わりにGated-SiLU活性化関数を使用しています。
• 著者たちは、こちらで確認できる1つのアーキテクチャのチェックポイントを公開しています。

UL2はT5v1.1と同じアーキテクチャを備えているため、APIリファレンス、ヒント、コード例、ノートブックについては、T5のドキュメントページを参照してください。