Transformerというモデル
ディープラーニングのモデルは、多数提案されています。
ジェフリー・ヒントン氏をはじめとする研究者が2006年に、新しい深層化の技術を提案し、広くディープラーニングが知られるようになる前に、
などのモデルは、提案されています。
これらのモデルは、長い時間をかけて研究開発されてきて、ディープラーニングのモデルとしてさらに活用されるようになったと言えます。
一方で、2006年以降、多くのディープラーニングのモデルが提案されています。
例えば、
などです。これらは提案されて間もないですが、普及しています。
2017年に提案されたTransformerは、登場以来多くの関心を集めています。
RNNやLSTMに比べて、並列化に向くメカニズムを持つTransformerは、自然言語処理で巨大なデータセットを使った学習を可能にし、驚異的な成果を挙げています。
Transformerは今では、自然言語処理を筆頭に多様な領域で注目されており、幅広い分野で研究開発が進んでいます。
ここでは、
- 自然言語処理
- コンピュータビジョン
- 強化学習
などの視点から、Transformer周りの状況をサーベイ論文の紹介を中心に、見ていきます。
様々な領域で研究開発が進むTransformer
自然言語処理
BERT
BERTは、Bidirectional Encoder Representations from Transformersの略で、Transformerを採用したディープラーニングのモデルです。
2018年に発表され、自然言語処理のタスクで高スコアを達成したBERTは、Transformerベースのモデルの可能性を更に広く世に知らしめたと言えるかもしれません。
2021年2月までに、BERTのアイデアを参考に
などいくつものモデルが、発表されています。
BERTのサーベイ論文に、A Primer in BERTology: What we know about how BERT works (2020)があります。
GPT-3
BERT同様に、Transformerを活用したディープラーニングのモデルとして広く知られているのが、GPT-3です。
GPT-3は、AI研究開発組織であるOpenAIが2020年に発表しました。別の記事で紹介したように、GPT-3の性能は驚きを持って世界に知られることになりました。
OpenAIが発表してきたGPTシリーズの第三弾であるGPT-3の、改良研究はさらに進められていると予想できます。今後、GPT-4がさらなる性能向上とともに発表されるかもしれません。
自然言語処理関連のTransformerサーベイ論文
サーベイ論文も出てきています。
Pretrained Transformers for Text Ranking: BERT and Beyond (2020)
Exploring Transformers in Natural Language Generation: GPT, BERT, and XLNet (2021)
などがあります。
また、やや応用的な話として、
Survey on Automatic Text Summarization and Transformer Models Applicability (2020)
があります。
コンピュータビジョン
自然言語処理の分野で誕生したTransformerですが、今ではコンピュータビジョン関連分野でも活用されています。
OpenAIは、Transformerを利用したディープラーニングのモデルGPTの、コンピュータビジョン版とも言える研究成果を発表しています。2020年に発表されたImage GPTです。
Image GPTでは、画像の一部を隠した写真がインプットとして与えられ、隠されている部分の画像を予測して復元する、というタスクで、Transformerを利用したモデルが高い精度の結果を出したことを示しました。
画像処理に関する、Transformer応用の試みは他にも、
Image Transformer (2018)
Visual Transformers: Token-based Image Representation and Processing for Computer Vision (2020)
など様々あります。
サーベイ論文には、
A Survey on Visual Transformer (2020)
Transformers in Vision: A Survey (2021)
などがあります。
強化学習
強化学習は、機械学習の一つで、ディープラーニングにも応用されています。
- プロの囲碁棋士と遜色ないレベルの実力を示したAlphaGo
- ゲームで高い性能を発揮したOpenAI Five
などは、ディープラーニングと強化学習を組み合わせて使用しています。
強化学習の領域でも、Transformerの活用が進んでいます。
Transformer Based Reinforcement Learning For Games (2019)
Scene Memory Transformer for Embodied Agents in Long-Horizon Tasks (2019)
などがあります。
その他の分野
自然言語処理や画像認識という視点からだけではなく、多様な面からTransformerは研究開発が進められています。
効率的なTransformer
Transformerは、コンピュータの処理の効率化をはじめとする、様々な効率化が試みられています。
Compressive Transformers for Long-Range Sequence Modelling (2019)
ETC: Encoding Long and Structured Inputs in Transformers (2020)
Synthesizer: Rethinking Self-Attention in Transformer Models (2020)
Poor Man’s BERT: Smaller and Faster Transformer Models (2020)
などがあります。
サーベイ論文としては、
Efficient Transformers: A Survey (2020)
を参考にできます。
医療分野
医療関連の領域でもTransformerの活用が模索されています。
Clinical concept extraction using transformers (2020)
BEHRT: Transformer for Electronic Health Records (2020)
などがあります。
さらに発展していく可能性も
ここまで見たように、2017年にTransformerモデルが提案されてから、2021年まで急速にTransformer関連研究は進んでおり、多方面での応用も試みられています。
今日示したサーベイ論文や研究論文などから、Transformerは
- 自然言語処理
- コンピュータビジョン
- 強化学習
- 医療分野
などで、応用が試みられていることが分かります。
さらにTransformerは、モデルの改善という面でも理論から応用に近い領域での改良に至るまで、色々なアイデアが考案され、実験されています。
今後、私たちの社会でTransformer関連技術が革新をもたらす可能性があります。
ディープラーニングに直接興味がある場合はもちろん、あまり関心がない場合でも、
- 文章要約 × Transformer
- 画像生成 × Transformer
- ゲーム × Transformer
など、興味があるテーマと関連する分野でTransformer技術はどう扱われているのか、ここで紹介したリソースを確認してみるのも良いのではないでしょうか。
コメント