深層生成モデル
ディープラーニング×生成モデルの研究開発領域は、深層生成モデルと呼ばれることがあります。
生成モデルは、簡単に言えば、観測データを生み出すその背後にある分布を学習するモデルのことです。
ディープラーニングと生成モデルの組み合わせで、近年、画像生成をはじめとする分野で目覚ましい成果が報告されています。
深層生成モデルの研究開発はここ数年で大きな広がりを見せていて、
- 画像生成
- 異常検知
- 表現学習
など多岐に渡ります。
ここでは、深層生成モデルの学習の際に参考になるリソースを紹介します。
学習コース
Generative Adversarial Networks (GANs)専門講座
Generative Adversarial Networks (GANs)専門講座は、世界的に知られている学習プラットフォームCourseraで提供されている深層生成モデルのGANに関する講座です。
深層生成モデルにはいくつか種類があります。
その中でも、Generative Adversarial Networks (GANs)は、2014年以降、注目を集めているモデルです。
この講座では、深層生成モデルの中でもGANを集中的に扱います。
Generative Adversarial Networks (GANs)専門講座は、3つの学習コースで構成されています。
- Build Basic Generative Adversarial Networks (GANs)
- Build Better Generative Adversarial Networks (GANs)
- Apply Generative Adversarial Networks (GANs)
です。
Build Basic Generative Adversarial Networks (GANs)では、
- GANへの入門
- DCGAN
- Wasserstein GAN
- Conditional GAN
といったGANへの入門から基本までを学べます。
Build Better Generative Adversarial Networks (GANs)では、
- GANsの評価
- GANsの欠点とバイアス
- StyleGANについて
など、GANのやや発展的な内容を学ぶことができます。
Apply Generative Adversarial Networks (GANs)では、
- データ拡張とプライバシーのためのGANs
- Pix2Pixを用いた画像から画像への変換
- CycleGANを用いた変換
などGANのより応用的側面を学ぶことができます。
Deep Generative Models CS236
Deep Generative Models CS236は、深層生成モデルがテーマのスタンフォード大学の講義です。
2021年2月時点で講義動画を視聴することはできませんが、講義スライドをはじめとするリソースを確認することができます。
取り扱っている内容は、
- 自己回帰モデル
- 変分オートエンコーダー
- フローモデル
- GANs
- エネルギーベースモデル
- 生成モデルの評価
など多様です。
Deep Generative Models Columbia STAT 8201(1)
Deep Generative Models Columbia STAT 8201(1)は、コロンビア大学の深層生成モデルを扱っている講義です。
CS236と同様、講義動画を視聴することはできないものの、講義資料を確認することができます。
- 変分オートエンコーダー
- 自己回帰モデル
- GANs
などが講義テーマとして定められており、それぞれ豊富な参考文献リストを確認することができます。
履修者向けに、事前に把握しておくべき内容として、
- Foundations of Graphical Models
- Deep learning
- Pythonのプログラミング、機械学習のライブラリの使い方
などが挙げられています。
サーベイ論文など
ディープラーニング×生成モデル
Deep generative models: Survey (2018)
Recent Trends in Deep Generative Models: a Review (2018)
A deep generative model trifecta: Three advances that work towards harnessing large-scale power (Microsoft Research Blog)
Generative Models (OpenAI)
深層生成モデルの種類
変分オートエンコーダー(VAE)
Auto-Encoding Variational Bayes (2013)
Tutorial on Variational Autoencoders (2016)
Recent Advances in Autoencoder-Based Representation Learning (2018)
Dynamical Variational Autoencoders: A Comprehensive Review (2020)
GAN
Generative adversarial networks: An overview (2018)
Recent Progress on Generative Adversarial Networks (GANs): A Survey (2019)
GAN Lab: Understanding Complex Deep Generative Models using Interactive Visual Experimentation (2019)
GAN Labでは、豊富な視覚情報を確認しつつインタラクティブにGANについて学べます。
自己回帰モデル
自己回帰型モデルの深層学習 (ZOZOテクノロジーズ)
WaveNet: A Generative Model for Raw Audio (2016)
PixelSNAIL: An Improved Autoregressive Generative Model (2018)
フローベースモデル
Flow-based Deep Generative Models (Lil’Log)
変分オートエンコーダーやGANとフローベースモデルの違いを含め、フローベースモデルについて解説してくれているWeb記事です。
[DL輪読会]Flow-based Deep Generative Models
日本語でフローベースモデルについて解説してくれているスライドです。
NICE: Non-linear Independent Components Estimation (2014)
Density estimation using Real NVP (2016)
Glow: Generative Flow with Invertible 1×1 Convolutions (2018)
ClothFlow: A Flow-Based Model for Clothed Person Generation (2019)
Normalizing Flows: An Introduction and Review of Current Methods (2020)
Adversarial Robustness of Flow-Based Generative Models (2020)
エネルギーベースモデル
Deep Directed Generative Models with Energy-Based Probability Estimation (2016)
Implicit Generation and Generalization in Energy-Based Models (2019)
その他の視点
Do Deep Generative Models Know What They Don’t Know? (2018)
Deep Learning for Anomaly Detection: A Survey (2019)
異常検知と深層生成モデルについての記載があります。
広大な深層生成モデルの研究開発と応用
生成モデルの研究開発は、日々進められています。
例えば、GANについては、多数のモデルが提案されており、
など、生成モデルの性能の高さが実感できます。
広大な分野になってきている深層生成モデル、まずは、
- 気になったテーマに関する深層生成モデルについての記事や論文など
- サーベイ論文や生成モデル全体についての解説記事
などから取り組むという方法が良いかもしれません。
コメント