ベイズ学習とディープラーニング【サマースクールやサーベイ論文】

ベイズ学習×ディープラーニング

確率推論に基づく機械学習の捉え方、ベイズ学習は、機械学習の分野で広く知られている枠組みの一つです。

ベイズ学習は、ディープラーニングとの組み合わせも考えられることがあり、様々な領域で研究開発が進んでいます。

今日は、ベイズ学習×ディープラーニング、を考えた時に参考になる

• 講義動画
• Webの記事
• サーベイ論文

などを紹介します。

学習の参考になるリソース

講演動画やサマースクール

SUMMER SCHOOL ON Deep Learning AND Bayesian Methods

Deep Learning AND Bayesian Methodsは、ディープラーニングとベイズ学習についてがテーマのサマースクールです。

過去のサマースクールでは、

• 表現学習
• VAE
• GAN
• 深層ガウス過程

などがベイズ学習の枠組みとの関係で取りあげられています。

過去のサマースクールの、

• 講義動画
• 講義スライド
• 課題

などを参照することができます。

Bayesian Deep Learning

Bayesian Deep Learningは、ディープラーニングに関係する国際カンファレンスとして広く知られている、NeurIPSの2019年のワークショップの一つです。

• ディープニューラルネットワークでのガウス過程
• 認識の不確実性の推定
• メタ学習とベイズ学習

など多様なテーマが扱われています。

講演スライドの他に、動画も確認することができます。

サーベイ論文など

Auto-Encoding Variational Bayes (2013)

Deep Gaussian Processes (2013)

Bayesian Convolutional Neural Networks with Bernoulli Approximate Variational Inference (2015)

Towards Bayesian Deep Learning: A Framework and Some Existing Methods (2016)

Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles (2016)

Uncertainty in Deep Learning (2016, PhD Thesis)

ベイジアンディープラーニングについての解説動画も確認できます。

Dropout as a Bayesian Approximation: Representing Model Uncertainty in Deep Learning (2016)

Risk versus Uncertainty in Deep Learning: Bayes, Bootstrap and the Dangers of Dropout (2016)

Deep Bayesian Active Learning with Image Data (2017)

Learning and Policy Search in Stochastic Dynamical Systems with Bayesian Neural Networks (2017)

Dropout Inference in Bayesian Neural Networks with Alpha-divergences (2017)

What Uncertainties Do We Need in Bayesian Deep Learning for Computer Vision? (2017)

Distributed Bayesian Learning with Stochastic Natural Gradient Expectation Propagation and the Posterior Server (2017)

Deep Learning: A Bayesian Perspective (2017)

Deep Probabilistic Programming (2017)

Predictive Uncertainty Estimation via Prior Networks (2018)

Bayesian Model-Agnostic Meta-Learning (2018)

Decomposition of Uncertainty in Bayesian Deep Learning for Efficient and Risk-sensitive Learning (2018)

Evaluating Bayesian Deep Learning Methods for Semantic Segmentation (2018)

A Simple Baseline for Bayesian Uncertainty in Deep Learning (2019)

A Survey on Bayesian Deep Learning (2020)

Bayesian Neural Networks: An Introduction and Survey (2020)

The Case for Bayesian Deep Learning (2020)

ディープラーニングでのベイズ学習

今日紹介したように、ディープラーニングとの関りでもベイズ学習は広く研究開発が進んでいます。

• ディープラーニングの理論的枠組み
• 自然言語処理
• コンピュータビジョン
• 強化学習

など様々なテーマとベイズ学習の組み合わせが考えられます。

ベイズ学習×ディープラーニングが気になる人は、サーベイ論文や講義動画などを見てみるのも良いのではないでしょうか。