注意機構【画像処理や自然言語処理など】

Uncategorized

注意機構:アテンションメカニズム

ニューラルネットワークや機械学習における注意(Attention)は、人間の認知機構での注意、と似た考え方です。

入力情報のどこに注目するのか、およびそれに関連した処理と出力のことです。

注意機構は、ディープラーニングの文脈からも、活発に研究されているテーマです。

今日は、注意機構について主に、ディープラーニングとの関りを学ぶ時に参考になるリソースを紹介します。

注意機構に関する様々なリソース

参考になる講義動画

Sequence Models

Sequence Modelsは、学習プラットフォームCourseraのコースです。

ディープラーニング専門講座の1コースであるSequence Modelsコースでは、

などを扱います。

シーケンスモデルと注意機構のパートでは、注意機構の研究として広く知られる

Neural Machine Translation by Jointly Learning to Align and Translate (2014)

をはじめとして、言語モデルでの注意機構の解説を確認することができます。

The Deep Learning Lecture Series

The Deep Learning Lecture Seriesは、DeepMindとUniversity College Londonが実施しているディープラーニングの講義です。

扱っている範囲は、

  • ニューラルネットワークの基礎
  • CNN
  • コンピュータビジョン
  • 機械学習のための最適化
  • 自然言語処理

など多岐に渡ります。

この講義では、ディープラーニングにおける注意機構とメモリについての回があり、

  • RNNにおける注意機構とメモリ
  • 強化学習における注意機構
  • Self-Attention

などについて広く解説されています。

サーベイ論文など

注意機構に関する論文は、著名なAttention Is All You Need論文以外に多数あります。

注意機構とディープラーニング

An Attentive Survey of Attention Models (2019)

Attention Mechanism, Transformers, BERT, and GPT: Tutorial and Survey (2020)

Attention? Attention! (Lil’Log)

自然言語処理

Effective Approaches to Attention-based Neural Machine Translation (2015)

Hierarchical Attention Networks for Document Classification (2016)

An Introductory Survey on Attention Mechanisms in NLP Problems (2019)

コンピュータビジョン

Show, Attend and Tell: Neural Image Caption Generation with Visual Attention (2015)

Survey on the attention based RNN model and its applications in computer vision (2016)

RPAN: An End-to-End Recurrent Pose-Attention Network for Action Recognition in Videos (2017)

グラフ

Attention Models in Graphs: A Survey (2019)

An Attention Enhanced Graph Convolutional LSTM Network for Skeleton-Based Action Recognition (2019)

注目を集める注意機構

Attention Is All You Need (2017)や、Attention is not Explanation (2019)のような印象的な論文名が表しているように、

注意機構は、ディープラーニングの研究開発と合わせて、注目されているテーマの一つです。

今日紹介したように、

  • コンピュータビジョン
  • 自然言語処理
  • 強化学習

など多様な領域で注意機構が研究されています。

気になるテーマ×注意機構、の講義動画やサーベイ論文を確認してみると、興味深いコンセプト、応用例などが見つかるかもしれません。

コメント

タイトルとURLをコピーしました