情報理論
情報理論は、情報の定量化、保持、伝達などを取り扱う領域です。
コンピュータサイエンスや神経科学とも関係する分野で、ディープラーニングの研究開発にも活用されています。
ディープラーニングの教科書として広く知られているDeep Learningでは、
線形代数と合わせて、確率と情報理論が機械学習の基本パートで扱われています。
今日は、ディープラーニングとの関わりで見た時に参考になる情報理論のリソースを紹介します。
リソース集
Web記事と文献リスト
Anatomize Deep Learning with Information Theory (Lil’Log)
講義動画、18. Information Theory of Deep Learning. Naftali Tishby
の解説記事です。
などと合わせて、情報理論とディープラーニングの関わりが説明されています。
Information Theory of Deep Learning (Aditya Sharma)
Dive into Deep Learningは、ディープラーニングの基礎から
- コンピュータビジョン
- 自然言語処理
- GAN
など応用まで学習できるWebサイトです。
説明に加え、
- MXNet
- PyTorch
- TensorFlow
といったディープラーニングに用いることができるライブラリの使い方も意識されており、Pythonのサンプルコードを確認できます。
Dive into Deep Learningには、情報理論のパートが設けられており、
サンプルコードを確認しつつ、学習を進めることができます。
Information Theory in Deep Learning
解説動画
ISIT 2018 – S. Kannan, H. Kim & S. Oh – Deep learning and information theory An Emerging Interface
IEEEの国際シンポジウムの講演動画です。
Stanford Seminar – Information Theory of Deep Learning
Naftali Tishby氏による情報理論とディープラーニングに関する、講義動画です。
Estimating the Information Flow in Deep Neural Networks
NeurIPS 2019 Workshop on Information Theory and Machine Learning
ディープラーニングに関係する国際カンファレンスNeurIPS 2019では、情報理論と機械学習に関するワークショップが開催されたことがあります。
Contributed Talk: GAIT – A Geometric Approach to Information Theory
の動画を確認できます。
書籍や論文
はじめての情報理論(第2版) 稲井 寛 著
情報理論 (ちくま学芸文庫) 甘利 俊一 著
Mathematical Foundations of Data Sciences Gabriel Peyré 著
Opening the Black Box of Deep Neural Networks via Information (2017)
Information Dropout: Learning Optimal Representations Through Noisy Computation (2018)
On the information bottleneck theory of deep learning (2019)
Entropy and mutual information in models of deep neural networks (2019)
情報理論×ディープラーニング
ここまでに紹介したように情報理論は、ディープラーニングの研究開発で広く活用されています。
書籍、Web解説記事、講義動画など様々なリソースが活用できます。
- ディープラーニングと言えば、数学
- プログラミング×ディープラーニング
というイメージを持っている場合でも、情報理論とディープラーニングの関わりを学んでみると、新たな側面が見えてくるかもしれません。
コメント