表現学習
ディープラーニングの研究開発では、表現学習(Representation Learning)が取り上げられることが多くあります。
表現学習は簡単に言えば、コンピュータが何かのタスクを解くためにデータを使って学習する際に、タスク解決に役立つ特徴を学習することです。
この場合は、教師ありデータを使っての学習を想定しているので、教師あり表現学習(教師あり特徴表現学習)などと呼ばれます。
教師なしデータを使ってデータの特徴を学習させたい場合は、教師なし表現学習と呼ぶこともできます。
表現学習は、ディープラーニング研究開発の根幹ともいえる視点の一つだと思います。
表現学習は、ディープラーニングに限らず機械学習の文脈で長く研究されてきた領域ですが、
- 自己教師あり学習
- 生成モデルの代表例であるGAN
などとの関係と合わせてディープラーニングでの表現学習の重要性が注目されています。
今日は、主にディープラーニングとの関係で表現学習を考えた時に、参考になる学習リソースを紹介します。
様々な領域での表現学習
学習コース
IFT 6135 – Representation Learning
IFT 6135は、モントリオール大学の、表現学習がテーマの講義です。
- ニューラルネットワークと訓練アルゴリズム
- CNN
- RNN
- ニューラルネットワーク訓練のための最適化手法
- 正則化と正規化
- 注意機構
- メモリーモデル
- メタ学習
- GAN
など幅広い範囲で表現学習について学ぶことができます。
2021年2月時点で講義動画は確認できませんが、
- 過去の講義資料
- 過年度の試験問題
などを参考にできます。
MultiModal Machine Learning 11-777 MMML
- 画像
- テキスト(文章)
- 音声
のみで、ディープラーニングを扱う場合以外に、これらを組み合わせて入力情報として扱うことがあります。
この場合、マルチモーダルな機械学習 / ディープラーニングなどと呼ばれます。
このコースは、カーネギーメロン大学のマルチモーダル機械学習がテーマの講義です。
- 視覚
- 言語
などの表現の他に、
マルチモーダル×表現学習を取り扱っている箇所があり、参考になります。
講義動画も確認することができます。
CS294-158-SP20 Deep Unsupervised Learning
CS294は、カリフォルニア大学バークレイ校が実施してる、ディープラーニング、特に教師なし学習についてがテーマの講義です。
教師なし学習や強化学習との関係で表現学習について説明があります。
教師なし学習について、
- 自己回帰モデル
- フローモデル
- 潜在変数モデル
- 自己教師あり学習
- 言語モデル
など多様なテーマが扱われています。
表現学習に加えて、深層生成モデルや自己教師あり学習について興味がある場合は特に、CS294はお勧めの選択肢です。
CS294は、講義資料、講義動画、Pythonのサンプルコードなどを参照できます。
サーベイ論文など
表現学習×ディープラーニング
Representation Learning: A Review and New Perspectives (2013)
Deep Learning of Representations: Looking Forward (2013)
Learning Disentangled Representations with Semi-Supervised Deep Generative Models (2017)
Towards a Definition of Disentangled Representations (2018)
A Framework for the Quantitative Evaluation of Disentangled Representations (2018)
Challenging Common Assumptions in the Unsupervised Learning of Disentangled Representations (2018)
Flexibly Fair Representation Learning by Disentanglement (2019)
コンピュータビジョン
Disentangled Representation Learning GAN for Pose-Invariant Face Recognition (2017)
Visual interpretability for deep learning: a survey (2018)
Diverse Image-to-Image Translation via Disentangled Representations (2018)
Exploring Disentangled Feature Representation Beyond Face Identification (2018)
What Makes for Good Views for Contrastive Learning? (2020)
自然言語処理
From static to dynamic word representations: a survey (2020)
Representation learning in discourse parsing: A survey (2020)
マルチモーダル
Deep Multimodal Representation Learning: A Survey (2019)
Talking Face Generation by Adversarially Disentangled Audio-Visual Representation (2019)
グラフ
Representation Learning on Graphs: Methods and Applications (2017)
A Comprehensive Survey of Graph Embedding: Problems, Techniques, and Applications (2018)
Graph embedding techniques, applications, and performance: A survey (2018)
Graph Representation Learning: A Survey (2019)
Graph Representation Learning (NeurIPS 2019 Workshop)
その他
Multi-Level Variational Autoencoder: Learning Disentangled Representations from Grouped Observations (2017)
Understanding disentangling in β-VAE (2018)
Disentangling by Factorising (2018)
A Survey of Deep Learning Methods for Cyber Security (2019)
Deep Representation Learning in Speech Processing: Challenges, Recent Advances, and Future Trends (2020)
ディープラーニングのキーコンセプト：表現学習
ディープラーニングにおける、表現学習の重要性には、多くの研究者が言及しています。
ディープラーニングの国際カンファレンスとして広く知られているICLRは、
International Conference on Learning Representations の略です。
文字通り、ICLRでは表現についての多くの論文が投稿されています。さらに
- Representation Learning on Graphs and Manifolds というワークショップ (2019)
- 表現学習とディープラーニングに関して言及されている基調講演 (2020)
など、表現学習×ディープラーニングを考えた時に、参考になる情報が多くあります。
今後、さらに研究開発が進むかもしれない表現学習、気になった人は、今日紹介したリソースやICLRのサイトを見てみるのも良いのではないでしょうか。
コメント