注目される対照学習
対照学習(Contrastive Learning)は、機械学習の手法の一つです。
学習データの類似性、相違性に注目してコンピュータに学習を促す対照学習の枠組みは、近年、
などとの関係で、言語モデルのBERTやT5とも合わせて注目されています。
ここでは、対照学習の参考になるリソースを紹介します。
リソース集
文献リスト
サーベイ論文
A Survey on Contrastive Self-supervised Learning (2020)
Contrastive Representation Learning: A Framework and Review (2020)
Self-supervised Learning: Generative or Contrastive (2020)
にも対照学習の解説があります。
Web記事
The Illustrated SimCLR Framework (Amit Chaudhary)
A Simple Framework for Contrastive Learning of Visual Representations (2020)
で提案されたSimCLRモデルの解説記事です。
Understanding View Selection for Contrastive Learning (Google AI Blog)
対照学習について仮説の提案と分析が行われた論文、What Makes for Good Views for Contrastive Learning? (2020)
について解説されています。
A Framework For Contrastive Self-Supervised Learning And Designing A New Approach (William Falcon)
このWeb記事では、
A Framework For Contrastive Self-Supervised Learning And Designing A New Approach (2020)
の著者による論文についての解説を確認できます。
Contrastive Self-Supervised Learning (Ankesh Anand)
この記事では、対照学習について、
などと合わせ解説されています。
解説動画
ComputerVisionFoundation Videos
このYouTubeチャンネルでは、
- Momentum Contrast for Unsupervised Visual Representation Learning
- Disentangled and Controllable Face Image Generation via 3D Imitative-Contrastive Learning
などの対照学習に関連するいくつかの論文のプレゼンテーション動画を確認できます。
Yonglong Tian – Contrastive Learning: A General Self-supervised Learning Approach
対照学習に関する近年の様々な研究を踏まえつつ、解説されています。
Supervised Contrastive Learning
Yannic Kilcherチャンネルの、Supervised Contrastive Learning (2020) 論文に関する解説動画です。
対照学習のこれから
人間がラベルを付与していないデータを使った機械学習である教師なし学習、自己教師あり学習などで、対照学習の枠組みが活用されるようになってきています。
大量のデータを活用して機械学習、ディープラーニングに取り組むうえで、対照学習は注目されているテーマの一つです。
今後ますます、研究開発が進み、理論的な裏付け、実社会への応用が進むと予想されます。
対照学習に興味が出た人は、是非リソースを確認してみてください。
コメント