# UL2

## Genel Bakış

T5 modeli, Yi Tay, Mostafa Dehghani, Vinh Q. Tran, Xavier Garcia, Dara Bahri, Tal Schuster, Huaixiu Steven Zheng, Neil Houlsby ve Donald Metzler tarafından [Unifying Language Learning Paradigms](https://huggingface.co/papers/2205.05131) makalesinde tanıtılmıştır.

Makalenin özeti aşağıdaki gibidir:

*Mevcut önceden eğitilmiş modeller genellikle belirli bir problem sınıfına yönelik olarak tasarlanmıştır. Bugüne kadar, doğru mimarinin ve önceden eğitim kurulumunun ne olması gerektiği konusunda bir uzlaşıya varılmış görünmüyor. Bu makale, veri setleri ve kurulumlar arasında evrensel olarak etkili modelleri önceden eğitmek için birleşik bir çerçeve sunar. Mimari arketipleri önceden eğitim amaçlarından ayırarak başlarız; bu, sıklıkla karıştırılan iki kavramdır. Ardından, NLP'de öz-etkileşim için genel ve birleşik bir bakış açısı sunar ve farklı önceden eğitim amaçlarının birbirine nasıl dönüştürülebileceğini ve farklı amaçlar arasında interpolasyonun neden etkili olabileceğini gösterir. Daha sonra, çeşitli önceden eğitim paradigmalarını bir araya getiren bir önceden eğitim amacı olan Mixture-of-Denoisers (MoD)'u öneririz. Ayrıca, aşağı akış ince ayarının belirli önceden eğitim şemalarıyla ilişkilendirildiği bir mod değiştirme kavramı tanıtıyoruz. Birden fazla önceden eğitim amacını karşılaştırmak için kapsamlı ablatif deneyler gerçekleştiriyor ve yönteminizin, çeşitli kurulumlarda T5 ve/veya GPT benzeri modelleri geride bırakarak Pareto sınırını öne taşıdığını buluyoruz. Son olarak, modelimizi 20B parametreye ölçekleyerek, dil üretimi (otomatik ve insan değerlendirmesi ile), dil anlama, metin sınıflandırma, soru-cevap, ortak duygu çıkarımı, uzun metin çıkarımı, yapılandırılmış bilgi temellendirme ve bilgi geri getirme dahil olmak üzere 50 iyi kurulmuş denetimli NLP görevinde SOTA performansına ulaşıyoruz. Modelimiz, bağlam içi öğrenmede de güçlü sonuçlar elde ediyor; sıfır atış SuperGLUE'da 175B GPT-3'ü geride bırakıyor ve tek atış özetlemede T5-XXL'in performansını üç katına çıkarıyor.*

Bu model [DanielHesslow](https://huggingface.co/Seledorn) tarafından katkıda bulunmuştur. Orijinal kod [burada](https://github.com/google-research/google-research/tree/master/ul2) bulunabilir.

## Kullanım ipuçları

- UL2, gürültü azaltma işlevlerinin bir karışımı üzerinde ön eğitilmiş ve bir dizi aşağı akış görevinde ince ayarlanmış bir kodlayıcı-çözücü modelidir.
- UL2, [T5v1.1](t5v1.1) ile aynı mimariye sahiptir ancak Gated-GELU yerine Gated-SiLU aktivasyon fonksiyonunu kullanır.
- Yazarlar, [burada](https://huggingface.co/google/ul2) görülebilen bir mimarinin kontrol noktalarını yayımlar

UL2, T5v1.1 ile aynı mimariye sahip olduğundan, API referansı, ipuçları, kod örnekleri ve defterler için [T5'in dokümantasyon sayfasına](t5) bakın.