コミュニティ

このページでは、コミュニティによって開発された🤗 Transformersに関するリソースをまとめています。

コミュニティリソース

リソース	説明	著者
Hugging Face Transformers用語集フラッシュカード	Transformers Docs Glossaryをベースにしたフラッシュカードのセットです。Ankiは、長期記憶の定着を目的として設計されたオープンソースのクロスプラットフォームアプリであり、このフラッシュカードは、Ankiで簡単に学習・復習できる形式に整えられています。フラッシュカードの使い方については、この導入ビデオをご覧ください。	Darigov Research

コミュニティノートブック

ノートブック	説明	著者
事前学習済み Transformer をファインチューニングして歌詞を生成する	GPT-2モデルをファインチューニングして、お気に入りのアーティストのスタイルで歌詞を生成する方法	Aleksey Korshuk
T5をTPUで学習する	TransformersとNlpでSQUADにT5を学習する方法	Suraj Patil
T5のファインチューニング: 分類と複数選択	PyTorch Lightning を使用して、テキストからテキストへの形式で T5 を分類タスクおよび選択問題タスクにファインチューニングする方法	Suraj Patil
新しいデータセットや言語で DialoGPT をファインチューニングする	オープンダイアログ型会話チャットボット向けに、新しいデータセットでDialoGPTモデルをファインチューニングする方法	ネイサン・クーパー
Reformerによる長文シーケンスモデリング	Reformer を使用して最大 500,000 トークンのシーケンスで学習する方法	Patrick von Platen
BARTの要約タスクへのファインチューニング	blurr を使用して fastai で BART を要約のためにファインチューニングする方法	Wayde Gilliam
任意のユーザーのツイートで事前学習済み Transformer をファインチューニングする	お気に入りのTwitterアカウントのスタイルでツイート生成を行う方法（GPT-2モデルのファインチューニングによる）	Boris Dayma
Weights & Biasesで🤗 Hugging Faceモデルを最適化	Hugging Face と W&B の統合を紹介する完全なチュートリアル	Boris Dayma
Longformerの事前学習	既存の事前学習済みモデルの「ロング」バージョンを構築する方法	Iz Beltagy
LongformerのQA向けファインチューニング	QAタスク向けにLongformerモデルをファインチューニングする方法	Suraj Patil
🤗nlpでモデルを評価する	`nlp` を使用して TriviaQA で longformer を評価する方法	Patrick von Platen
T5を感情スパン抽出のためにファインチューニングする	PyTorch Lightning を使用して、テキストからテキストへの形式で T5 をファインチューニングし、感情スパン抽出を行う方法	Lorenzo Ampil
DistilBert を多クラス分類のためにファインチューニングする	PyTorchでDistilBertを多クラス分類のためにファインチューニングする方法	Abhishek Kumar Mishra
BERTのファインチューニングによるマルチラベル分類	PyTorch を使用して BERT をマルチラベル分類のためにファインチューニングする方法	Abhishek Kumar Mishra
T5の要約向けファインチューニング	PyTorchでT5を要約タスクにファインチューニングし、WandBで実験を追跡する方法	Abhishek Kumar Mishra
Dynamic Padding / Bucketing を用いた Transformers での Fine-Tuning の高速化	動的パディング / バケット化を使用してファインチューニングを2倍速くする方法	Michael Benesty
Reformerのマスク言語モデリング向け事前学習	双方向自己注意レイヤーを用いたReformerモデルの学習方法	Patrick von Platen
Sci-BERT の拡張とファインチューニング	AllenAI の事前学習済み SciBERT モデルの語彙を CORD データセットで拡張し、パイプライン化する方法	Tanmay Thakur
Trainer API を使用して BlenderBotSmall を要約タスクにファインチューニングする	Trainer API を使用して、カスタムデータセットで BlenderBotSmall を要約タスクにファインチューニングする方法。	Tanmay Thakur
ElectraのファインチューニングとIntegrated Gradientsによる解釈	Electraの感情分析へのファインチューニングと、Captum Integrated Gradientsによる予測の解釈方法	Eliza Szczechla
Trainerクラスで非英語のGPT-2モデルをファインチューニングする	Trainerクラスを用いて非英語のGPT-2モデルをファインチューニングする方法	Philipp Schmid
マルチラベル分類タスク向けにDistilBERTモデルをファインチューニングする	マルチラベル分類タスク向けにDistilBERTモデルをファインチューニングする方法	Dhaval Taunk
ALBERTを文ペア分類のためにファインチューニングする	ALBERTモデルやその他のBERTベースのモデルを、文ペア分類タスクのためにファインチューニングする方法	ナディル・エル・マヌージ
Roberta を感情分析のためにファインチューニングする	感情分析用のRobertaモデルのファインチューニング方法	Dhaval Taunk
質問生成モデルの評価	seq2seq Transformerモデルによって生成された質問に対する回答の精度はどの程度ですか?	パスケル・ゾレコ
CNN/Dailymailでのエンコーダー・デコーダー要約にBERTを活用する	CNN/Dailymailでの要約タスクにおいて、google-bert/bert-base-uncasedのチェックポイントを使用してEncoderDecoderModelをウォームスタートする方法	Patrick von Platen
BBC XSumにおけるエンコーダー-デコーダー型要約にRoBERTaを活用する	BBC/XSumでの要約タスクにおいて、FacebookAI/roberta-baseのチェックポイントで共有EncoderDecoderModelをウォームスタートする方法	Patrick von Platen
TAPASをSequential Question Answering (SQA)でファインチューニングする	Sequential Question Answering (SQA) データセット上で、tapas-base チェックポイントを用いて TapasForQuestionAnswering をファインチューニングする方法	Niels Rogge
Table Fact Checking (TabFact) で TAPAS を評価する	🤗 datasetsと🤗 transformersライブラリの組み合わせを使用して、tapas-base-finetuned-tabfactチェックポイントでファインチューニングされたTapasForSequenceClassificationを評価する方法	Niels Rogge
翻訳のための mBART のファインチューニング	Seq2SeqTrainer を使用してヒンディー語から英語への翻訳のために mBART をファインチューニングする方法	Vasudev Gupta
FUNSD(フォーム理解データセット)でLayoutLMをファインチューニングする	スキャンされた文書からの情報抽出のために、FUNSDデータセットでLayoutLMForTokenClassificationをファインチューニングする方法	Niels Rogge
DistilGPT2のファインチューニングとテキスト生成	DistilGPT2のファインチューニングとテキスト生成の方法	Aakash Tripathi
最大8KトークンでLEDをファインチューニングする	LEDをPubMedでファインチューニングして長文要約を行う方法	Patrick von Platen
Arxiv 上で LED を評価する	長文要約においてLEDを効果的に評価する方法	Patrick von Platen
LayoutLMをRVL-CDIP(文書画像分類データセット)でファインチューニングする	スキャン文書の分類のために、RVL-CDIPデータセットでLayoutLMForSequenceClassificationをファインチューニングする方法	Niels Rogge
GPT2調整付きWav2Vec2 CTCデコーディング	言語モデルの調整を用いたCTCシーケンスのデコード方法	Eric Lam
Trainerクラスを使用して、BARTを2言語の要約にファインチューニングする	Trainerクラスを使用して、2言語での要約のためにBARTをファインチューニングする方法	Eliza Szczechla
Trivia QAでのBig Birdの評価	Trivia QAの長文書質問応答タスクでBigBirdを評価する方法	Patrick von Platen
Wav2Vec2を使用して動画キャプションを作成する	Wav2Vecで音声を書き起こして、任意の動画からYouTube字幕を作成する方法	Niklas Muennighoff
PyTorch Lightningを使用してVision TransformerをCIFAR-10でファインチューニングする	HuggingFace Transformers、Datasets、PyTorch Lightning を使用して、CIFAR-10 で Vision Transformer (ViT) をファインチューニングする方法	Niels Rogge
🤗 Trainer を使用して CIFAR-10 で Vision Transformer をファインチューニングする	HuggingFace Transformers、Datasets、および🤗 Trainerを使用して、CIFAR-10でVision Transformer (ViT)をファインチューニングする方法	Niels Rogge
エンティティタイピングデータセットである Open Entity で LUKE を評価する	Open Entity データセットでLukeForEntityClassificationを評価する方法	山田育也
関係抽出データセットであるTACREDでLUKEを評価する	TACREDデータセットでLukeForEntityPairClassificationを評価する方法	山田育也
LUKEを重要なNERベンチマークであるCoNLL-2003で評価する	CoNLL-2003データセットでLukeForEntitySpanClassificationを評価する方法	山田育也
PubMedデータセットでBigBird-Pegasusを評価する	PubMedデータセットでBigBirdPegasusForConditionalGenerationを評価する方法	Vasudev Gupta
Wav2Vec2による音声感情分類	MEGAデータセットでの感情分類に事前学習済みWav2Vec2モデルを活用する方法	Mehrdad Farahani
DETRで画像内のオブジェクトを検出する	学習済みのDetrForObjectDetectionモデルを使用して、画像内のオブジェクトを検出し、アテンションを可視化する方法	Niels Rogge
カスタム物体検出データセットでDETRをファインチューニングする	カスタムな物体検出データセットでDetrForObjectDetectionをファインチューニングする方法	Niels Rogge
T5のファインチューニングによる固有名詞認識	T5を名前実体認識タスクでファインチューニングする方法	Ogundepo Odunayo
MLflowとPEFTを用いたQLoRAによるオープンソースLLMのファインチューニング	QLoRAとPEFTを使用して、MLflowで実験トラッキングを管理しながら、メモリ効率よくLLMをファインチューニングする方法	Yuki Watanabe

Update on GitHub