深層学習入門

1）講習会概要

本講習会は機械学習手法の一つである深層学習についての入門講座です。特に多層のニューラルネットワーク (NN) を用いた深層学習について扱い、ニューラルネットワークに関する基礎理論やCNN,RNNといった代表的なNNについて、活用方法も踏まえて学びます。また、Google Colaboratory上で深層学習ライブラリPyTorchを用いた各種ネットワークの実装を行い、理解度と実装力を高めます。以上を通して、解きたい問題に応じて適切なネットワークを設計し、実装できるようになることを目指します。

2）各回の実施内容

第１回　深層学習入門

まず、深層学習の概要について説明する。具体的には、機械学習における深層学習の立ち位置や、深層学習が扱う分類・回帰といった問題について説明する。また、多層のNNを用いた深層学習の概要について説明する。具体的には、学習とは重みの最適化であるといった内容や、損失関数、エポック等の概念について説明する。そののちに、単層のNNを用いた学習をPyTorchで実装し、受講者に実際に手を動かしてもらう。そして、パーセプトロンとNNの違い、単層から多層への拡張等の説明をし、DNNの導入を行うことを第1回の目的とする。

第２回　深層ニューラルネットワーク (DNN) の基礎

第二回では、DNNの構造や学習のさせ方に関する基礎理論を扱い、基礎的なDNNの設計と学習の実装を行えるようになることを目的とする。まず、DNNの構造を扱う。具体的には、入力層・中間層・出力層について、活性化関数について、そして順伝播による出力値の計算について説明を行う。次に、DNNの学習について扱う。具体的には、損失関数、勾配降下法、バッチ学習、誤差逆伝播法といった学習にまつわる理論について説明する。以上の理論をPyTorchで実装することで理解の定着を図る。ここで、学習に用いるデータセットを機械学習入門で用いたものと合わせることで、深層学習が機械学習の一手法であることの理解を深める。

第３回　DNN 実践　～学習のテクニック～

第3回では、第2回で説明したDNNの学習精度を高めるテクニックについて紹介する。具体的には、学習率や、重みパラメータを探索する最適化手法であるAdamやAdagradなどの概要について説明する。また、過学習の概念について説明し、それを防ぐための手法としてDropoutやWeight decayについて紹介する。最後に、学習プロセスを全体的に安定化し、学習の効率性を向上させるテクニックであるBatch Normalizationについても説明を行う。授業内で、さまざまなハイパーパラメータを変更しながら学習精度を高める演習を用意しており、DNNを実用的に使えるようになることが目的である。

第４回　畳み込みニューラルネットワーク (CNN) と画像分類

第4回では，画像処理や音声認識の分野で広く用いられる畳み込みニューラルネットワーク(CNN)について扱う。まず、全結合ニューラルネットワークにおける問題点を考え、CNN導入の背景を学ぶことで、CNNの全体像や特徴について理解する。次に、CNN特有の層であり、特徴量抽出のために用いられる畳み込み層やプーリング層について、実装を行いながら理解する。最後に、第3回でも用いたMNISTやCIFAR-10などの画像データセットに対しCNNの実装を行うことで、画像処理に対してCNNを用いる有用性を確認すると共に、実装力の定着を図ることを目的とする。

第５回　回帰型ニューラルネットワーク (RNN) と時系列データの予測

第5回は、時系列データの予測と相性の良い回帰型ニューラルネットワーク (RNN) について説明する。そして、RNNを実装し、時系列データの予測問題を解くことを目的とする。まず、RNNの原理、RNNを用いた時系列データの学習、およびその予測方法について、基礎的な例題の実装を通して説明する。次に、RNNモデルの抱える諸問題を解決した、より性能の高いLong Short-Term Memory (LSTM) モデルについて紹介する。最後に、RNN, LSTMを用いて株価を予測する問題に取り組み、実装の練習と理解の定着を図る。