Mô hình này được công bố trên HF papers vào ngày 2022-05-10 và được đóng góp cho Hugging Face Transformers vào ngày 2023-06-20.

UL2

Tổng quan

Mô hình T5 được giới thiệu trong Unifying Language Learning Paradigms bởi Yi Tay, Mostafa Dehghani, Vinh Q. Tran, Xavier Garcia, Dara Bahri, Tal Schuster, Huaixiu Steven Zheng, Neil Houlsby, Donald Metzler.

Tóm tắt từ bài báo như sau:

Các mô hình được huấn luyện trước hiện có thường được thiết kế cho một lớp vấn đề cụ thể. Cho đến nay, dường như vẫn chưa có sự đồng thuận về kiến trúc và cấu hình huấn luyện trước phù hợp. Bài báo này trình bày một khung thống nhất để huấn luyện trước các mô hình có hiệu quả phổ quát trên nhiều tập dữ liệu và cấu hình khác nhau. Chúng tôi bắt đầu bằng cách tách biệt các nguyên mẫu kiến trúc với các mục tiêu huấn luyện trước — hai khái niệm thường bị nhầm lẫn. Tiếp theo, chúng tôi trình bày một góc nhìn tổng quát và thống nhất về tự giám sát trong NLP, chỉ ra cách các mục tiêu huấn luyện trước khác nhau có thể được quy về nhau và việc nội suy giữa các mục tiêu khác nhau có thể mang lại hiệu quả. Sau đó, chúng tôi đề xuất Mixture-of-Denoisers (MoD), một mục tiêu huấn luyện trước kết hợp các phương pháp huấn luyện trước đa dạng. Chúng tôi cũng giới thiệu khái niệm chuyển đổi chế độ, trong đó việc tinh chỉnh cho tác vụ hạ nguồn được liên kết với các phương án huấn luyện trước cụ thể. Chúng tôi tiến hành các thí nghiệm tách thành phần (ablative) rộng rãi để so sánh nhiều mục tiêu huấn luyện trước và nhận thấy rằng phương pháp của chúng tôi đẩy lùi biên Pareto bằng cách vượt trội hơn các mô hình kiểu T5 và/hoặc GPT trên nhiều cấu hình đa dạng. Cuối cùng, bằng cách mở rộng mô hình lên 20 tỷ tham số, chúng tôi đạt được hiệu suất SOTA trên 50 tác vụ NLP có giám sát đã được thiết lập vững chắc, trải dài từ tạo ngôn ngữ (với đánh giá tự động và đánh giá của con người), hiểu ngôn ngữ, phân loại văn bản, trả lời câu hỏi, suy luận thông thường, suy luận trên văn bản dài, neo kiến thức có cấu trúc và truy xuất thông tin. Mô hình của chúng tôi cũng đạt kết quả mạnh mẽ trong học trong ngữ cảnh (in-context learning), vượt trội hơn GPT-3 175B trên SuperGLUE zero-shot và gấp ba lần hiệu suất của T5-XXL trên tóm tắt one-shot.

Mô hình này được đóng góp bởi DanielHesslow. Mã gốc có thể được tìm thấy tại đây.

Mẹo sử dụng

• UL2 là một mô hình encoder-decoder được huấn luyện trước trên một hỗn hợp các hàm khử nhiễu cũng như được tinh chỉnh trên một loạt các tác vụ downstream.
• UL2 có kiến trúc giống với T5v1.1 nhưng sử dụng hàm kích hoạt Gated-SiLU thay vì Gated-GELU.
• Các tác giả công bố các checkpoint của một kiến trúc, có thể xem tại đây

Vì UL2 có cùng kiến trúc với T5v1.1, hãy tham khảo trang tài liệu của T5 để xem tham chiếu API, các mẹo, ví dụ mã và notebook.