# UL2

## 개요

T5 모델은 Yi Tay, Mostafa Dehghani, Vinh Q. Tran, Xavier Garcia, Dara Bahri, Tal Schuster, Huaixiu Steven Zheng, Neil Houlsby, Donald Metzler이 발표한 [Unifying Language Learning Paradigms](https://huggingface.co/papers/2205.05131)에 소개되었습니다.

해당 논문의 초록은 다음과 같습니다:

*기존의 사전 학습 모델은 일반적으로 특정 유형의 문제에 초점을 맞추고 있습니다. 지금까지 올바른 아키텍처와 사전 학습 구성에 대해서는 여전히 합의가 이루어지지 않은 것으로 보입니다. 이 논문은 데이터셋과 구성을 막론하고 보편적으로 효과적인 모델을 사전 학습하기 위한 통합 프레임워크를 제시합니다. 우리는 먼저 사전 학습 목적과 아키텍처 원형이라는, 흔히 혼동되는 두 개념을 분리하는 것으로 시작합니다. 다음으로, NLP에서 자기 감독(self-supervision)에 대한 일반화되고 통합된 관점을 제시하고, 서로 다른 사전 학습 목적을 어떻게 서로 변환할 수 있으며, 서로 다른 목적 사이를 보간(interpolating)하는 것이 어떻게 효과적인지 보여줍니다. 이후 우리는 다양한 사전 학습 패러다임을 결합한 사전 학습 목적인 Mixture-of-Denoisers(MoD)를 제안합니다. 또한 우리는 모드 스위칭(mode switching)이라는 개념을 도입하며, 이는 다운스트림 파인튜닝이 특정 사전 학습 방식과 연관됨을 의미합니다. 우리는 여러 사전 학습 목적을 비교하기 위해 광범위한 아블레이션 실험을 수행했으며, 우리의 방법이 T5 및/또는 GPT 계열 모델을 다양한 구성에서 능가하여 Pareto-frontier를 확장시킨다는 것을 발견했습니다. 마지막으로, 모델을 20B 파라미터 규모로 확장하여 언어 생성(자동 및 인간 평가 포함), 언어 이해, 텍스트 분류, 질의응답, 상식 추론, 긴 텍스트 추론, 구조화된 지식 기반화, 정보 검색을 아우르는 50개의 확립된 감독형 NLP 작업에서 SOTA 성능을 달성했습니다. 우리의 모델은 컨텍스트 내 학습(in-context learning)에서도 강력한 결과를 보여주며, zero-shot SuperGLUE에서 175B GPT-3를 능가하고 one-shot 요약 작업에서 T5-XXL의 성능을 3배로 향상시켰습니다.*

이 모델은 [DanielHesslow](https://huggingface.co/Seledorn)님이 기여했습니다. 원본 코드는 [여기](https://github.com/google-research/google-research/tree/master/ul2)에서 찾을 수 있습니다.

## 사용 팁

- UL2는 노이즈 제거 함수의 혼합 데이터로 사전 학습된 인코더-디코더 모델이며, 다양한 다운스트림 작업으로 미세 조정되었습니다.
- UL2는 [T5v1.1](t5v1.1)과 동일한 아키텍처를 가지며, Gated-GELU 대신 Gated-SiLU 활성화 함수를 사용합니다.
- 저자들은 [여기](https://huggingface.co/google/ul2)에서 확인할 수 있는 하나의 아키텍처에 대한 체크포인트를 공개했습니다

UL2는 T5v1.1과 동일한 아키텍처를 가지고 있으므로, API 참고 사항, 팁, 코드 예제 및 노트북은 [T5 문서 페이지](t5)를 참조하세요.