自己教師あり学習(2021年上半期版)【Self-Supervised Learningの学習リソースまとめ】

色々な技術のもとになっている「自己教師あり学習」

機械学習の手法の一つである自己教師あり学習（Self-Supervised Learning）は、

• GPT-3
• DALL·E
• OpenAI Codex
• T5

などの基本的な技術要素です。

GPT-3やDALL·Eなどの成功から、自己教師あり学習は近年注目を集めてきました。
その状況は、2021年でも変わっていません。

近年、自己教師あり学習の理解を助ける教材となるリソースが出てきています。
ここでは、お勧めの学習リソースを紹介します。
ブログやWeb記事、動画など多様なリソースがあります。

自己教師あり学習を理解するためのリソース

ブログやWeb記事

ブログやWebには、自己教師あり学習を取り扱った記事が多数あります。
ここでは、論文を読む前、Pythonのライブラリを使う前などに参考になるリソースを紹介します。

Self-Supervised Representation Learning（Lil’Log）

このブログ記事では、主にコンピュータビジョンや強化学習の分野に焦点を当てつつ、自己教師あり学習の仕組みから応用まで広く解説されています。

Self-supervised learning: The dark matter of intelligence（Facebook AI）

自己教師あり学習の著名な研究者であるYann LeCun氏とIshan Misra氏によって書かれた記事です。
この記事では、自己教師あり学習の広範な内容について、適宜原論文を参照しつつ、丁寧に説明されています。

Awesome Self-Supervised Learning（jason718）

GitHubの自己教師あり学習のまとめ記事です。
コンピュータビジョン、ロボティクス、自然言語処理などの各分野について、自己教師あり学習のリソースがまとめられています。

Self-supervised learning and computer vision（fast.ai）

ディープラーニングの普及を目指す非営利団体fast.aiのJeremy Howard氏によって書かれた記事です。主にコンピュータビジョンに関する自己教師あり学習について、説明されています。参考文献も紹介されています。

動画

学習の助けになる動画も増えてきています。

Yann LeCun’s Deep Learning Course at CDS

ニューヨーク大学のディープラーニングに関するコースです。
その名の通り、Yann LeCun氏が講義の一部を担当しています。
このコースでは、自己教師あり学習が取り上げられており、講義スライドのほか、
講義動画が公開されています。2021年版も公開されています。

CS294-158-SP20 Deep Unsupervised Learning Spring 2020

カリフォルニア大学バークレー校のディープラーニング(教師なし学習)を扱ったコースです。
Pieter Abbeel氏をはじめとする著名な研究者が講師を担当しています。
このコースでは自己教師あり学習と関連するテーマが扱われています。
講義スライドや動画などのリソースが公開されています。

Recent Advances in Vision-and-Language Research（CVPR 2020 Tutorial）

コンピュータビジョンに関する著名な学会であるCVPRの2020年チュートリアルの一つです。
このチュートリアルは、コンピュータビジョンと自然言語処理の重なる領域が主なテーマです。
このチュートリアルでは、自己教師あり学習について言及されており、プレゼンテーションのスライドや動画が公開されています。CVPRは2021年、自己教師あり学習に関係するチュートリアルを開催しており、こちらも動画が公開されています。

書籍

自己教師あり学習について、まとめて説明されている書籍はまだそれほど多くないと思いますが、いくつかの書籍で取り扱われています。

• 『scikit-learn、Keras、TensorFlowによる実践機械学習 第2版』Aurélien Géron(著), 下田 倫大(監修), 長尾 高弘(翻訳)

では、その一部で自己教師あり学習について取り上げられています。

自己教師あり学習と関係が深い言語モデルのBERTやGPT-3については、

• 『BERTによる自然言語処理入門 ―Transformersを使った実践プログラミング―』近江 崇宏(著), 金田 健太郎(著), 森長誠(著), 江間見亜利(著), ストックマーク株式会社(編集)
• 『PyTorch自然言語処理プログラミング word2vec／LSTM／seq2seq／BERTで日本語テキスト解析！』新納 浩幸(著)
• 『生成 Deep Learning ―絵を描き、物語や音楽を作り、ゲームをプレイする』David Foster(著), 松田 晃一(翻訳), 小沼 千絵(翻訳)

などがあります。

自己教師あり学習の発展

2021年上半期までの数年で、自己教師あり学習について、

• 理論やアルゴリズム開発などの基礎的な研究
• 自然言語処理、コンピュータビジョン、ロボティクスへの応用

などが急速に進んでいます。

この流れが、一気に変わる可能性は否定できませんが、今のところその兆しはないと思います。

自己教師あり学習のライブラリやオープンソースプロジェクトも広がりを見せており、
しばらくは、研究開発、実社会への応用が模索されるのではないでしょうか。

大量のデータを有用活用できる可能性のある「自己教師あり学習」について、興味が出たという人は、今日紹介した学習リソースを参考にしてみるのもいいかもしれません。