広く知られるディープラーニング関連の論文
ディープラーニング関連の論文は、多数発表されています。
基礎研究に加えて、
- コンピュータビジョン
- 自然言語処理
- 音声処理
- 医療分野
など幅広い領域で、ディープラーニングの研究開発が進んでいます。
ディープラーニング関連の研究開発は目を見張るものがあり、
- 解説記事
- 書籍
など、まとまった形式で最新動向を追うことが難しいケースが少なくありません。
そのため、論文を参照することが広く行われています。
ここでは、ディープラーニングに関連する領域について、有名な論文のいくつかを紹介します。
ディープラーニング関連論文：2006年の前と後
ニューラルネットワークの研究は長い歴史を持ちますが、ここまで注目され、研究開発が進む契機になったのは、2006年であるとされています。
2006年に、ジェフリー・ヒントン氏をはじめとする研究者により、新しい深層化の技法が提案されたためです。
以下、論文の被引用数は、Google Scholarにて2021年2月19日に確認。
2006年以前
1985年
Learning internal representations by error-propagation 被引用数76,712
1997年
Long short-term memory 被引用数44,168
1998年
Gradient-based learning applied to document recognition 被引用数34,214
2006年以降
2006年
A fast learning algorithm for deep belief nets 被引用数14,847
Reducing the dimensionality of data with neural networks 被引用数14,444
2008年
Visualizing data using t-SNE 被引用数18,236
2009年
Imagenet: A large-scale hierarchical image database 被引用数25,427
Learning multiple layers of features from tiny images 被引用数10,408
2010年
Rectified linear units improve restricted boltzmann machines 被引用数12,414
2012年
Imagenet classification with deep convolutional neural networks 被引用数76,621
2014年
Adam: A method for stochastic optimization 被引用数66,240
Very deep convolutional networks for large-scale image recognition 被引用数52,444
Generative adversarial networks 被引用数28,006
Dropout: a simple way to prevent neural networks from overfitting 被引用数26,117
Rich feature hierarchies for accurate object detection and semantic segmentation 被引用数16,755
Neural machine translation by jointly learning to align and translate 被引用数16,639
Caffe: Convolutional architecture for fast feature embedding 被引用数15,034
Microsoft coco: Common objects in context 被引用数14,224
Sequence to sequence learning with neural networks 被引用数13,953
Learning phrase representations using RNN encoder-decoder for statistical machine translation 被引用数12,806
Visualizing and understanding convolutional networks 被引用数11,543
2015年
Going deeper with convolutions 被引用数28,233
Batch normalization: Accelerating deep network training by reducing internal covariate shift 被引用数24,926
U-net: Convolutional networks for biomedical image segmentation 被引用数23,070
Imagenet large scale visual recognition challenge 被引用数21,492
Fully convolutional networks for semantic segmentation 被引用数21,432
Faster r-cnn: Towards real-time object detection with region proposal networks 被引用数19,640
Fast r-cnn 被引用数13,459
Human-level control through deep reinforcement learning 被引用数13,408
Delving deep into rectifiers: Surpassing human-level performance on imagenet classification 被引用数10,768
2016年
Deep residual learning for image recognition 被引用数69,846
You Only Look Once: Unified, Real-Time Object Detection 被引用数14,104
Ssd: Single shot multibox detector 被引用数12,957
Rethinking the inception architecture for computer vision 被引用数12,054
Tensorflow: A system for large-scale machine learning 被引用数11,956
2017年
Attention is all you need 被引用数17,636
Densely connected convolutional networks 被引用数14,004
Mask r-cnn 被引用数10,185
2018年
Bert: Pre-training of deep bidirectional transformers for language understanding 被引用数15,773
蓄積される知見、拡大されるフロンティア
ここまで紹介したように、広く知られるディープラーニング関連論文は、
- 巨大データセットの提案
- 今日広く使われているディープラーニングの重要なテクニック
- Pythonのディープラーニング用ライブラリ
- 画像認識でのディープラーニング
- 自然言語処理でのディープラーニング
- 深層強化学習
など、多岐に渡ります。
エポックメイキングである論文の一つとして2012年に発表された、Imagenet classification with deep convolutional neural networksが挙げられます。
この論文では、今日AlexNetと呼ばれるようになったディープラーニングのモデルが扱われています。
AlexNetは、2012年の画像認識コンペティションILSVRC（ImageNet Large Scale Visual Recognition Challenge）で優勝したモデルです。
2014年のGenerative adversarial networksは、GANという生成モデルを提案した論文です。
GANは、2021年時点でも、研究開発の領域を筆頭に多くの注目を集め続けています。
著名な論文を眺めると、
2006年に、ディープラーニングのコンセプトが提案されてから、
2012年の画像認識コンペティションILSVRCでディープラーニング手法が広く認識され、
2014年～2016年に、画像処理を筆頭に多くの領域で活用されるようになる技法が生み出された流れが見て取れます。
また、2017年以降は、自然言語処理を中心に複数のテクニックが発表されている、という潮流がある印象です。
画像処理、強化学習、自然言語処理をはじめ多くの領域で多様な成果が出てきているディープラーニング関連の研究は、今後も発展が期待されます。
今後の新しい研究開発の基盤になるであろう、著名なディープラーニング関連論文を見てみるのもいいのではないでしょうか。
コメント