注意機構：アテンションメカニズム
ニューラルネットワークや機械学習における注意(Attention)は、人間の認知機構での注意、と似た考え方です。
入力情報のどこに注目するのか、およびそれに関連した処理と出力のことです。
注意機構は、ディープラーニングの文脈からも、活発に研究されているテーマです。
今日は、注意機構について主に、ディープラーニングとの関りを学ぶ時に参考になるリソースを紹介します。
注意機構に関する様々なリソース
参考になる講義動画
Sequence Models
Sequence Modelsは、学習プラットフォームCourseraのコースです。
ディープラーニング専門講座の1コースであるSequence Modelsコースでは、
- RNN
- 自然言語処理と単語の埋め込み
- シーケンスモデルと注意機構
などを扱います。
シーケンスモデルと注意機構のパートでは、注意機構の研究として広く知られる
Neural Machine Translation by Jointly Learning to Align and Translate (2014)
をはじめとして、言語モデルでの注意機構の解説を確認することができます。
The Deep Learning Lecture Series
The Deep Learning Lecture Seriesは、DeepMindとUniversity College Londonが実施しているディープラーニングの講義です。
扱っている範囲は、
- ニューラルネットワークの基礎
- CNN
- コンピュータビジョン
- 機械学習のための最適化
- 自然言語処理
など多岐に渡ります。
この講義では、ディープラーニングにおける注意機構とメモリ、についての回があり、
- RNNにおける注意機構とメモリ
- 強化学習における注意機構
- Self-Attention
などについて広く解説されています。
サーベイ論文など
注意機構に関する論文は、著名なAttention Is All You Need論文以外に多数あります。
注意機構とディープラーニング
An Attentive Survey of Attention Models (2019)
Attention Mechanism, Transformers, BERT, and GPT: Tutorial and Survey (2020)
Attention? Attention! (Lil’Log)
自然言語処理
Effective Approaches to Attention-based Neural Machine Translation (2015)
Hierarchical Attention Networks for Document Classification (2016)
An Introductory Survey on Attention Mechanisms in NLP Problems (2019)
コンピュータビジョン
Show, Attend and Tell: Neural Image Caption Generation with Visual Attention (2015)
Survey on the attention based RNN model and its applications in computer vision (2016)
RPAN: An End-to-End Recurrent Pose-Attention Network for Action Recognition in Videos (2017)
グラフ
Attention Models in Graphs: A Survey (2019)
An Attention Enhanced Graph Convolutional LSTM Network for Skeleton-Based Action Recognition (2019)
注目を集める注意機構
Attention Is All You Need (2017)や、Attention is not Explanation (2019)のような印象的な論文名が表しているように、
注意機構は、ディープラーニングの研究開発と合わせて、注目されているテーマの一つです。
今日紹介したように、
- コンピュータビジョン
- 自然言語処理
- 強化学習
など多様な領域で注意機構が研究されています。
気になるテーマ×注意機構、の講義動画やサーベイ論文を確認してみると、興味深いコンセプト、応用例などが見つかるかもしれません。
コメント