機械学習上級講座

1）講習会概要

古典的な機械学習および深層学習について、より発展的な内容を扱う。本講習会ではまず下準備として、線形代数と確率統計の内容に触れたのち、数学的な理論を中心に機械学習の代表的な手法、理論について解説を行う。基本的に授業は資料を配布し講義スタイルの形式をとり、60分理論の講義+30分pythonによる実装の構成、または数式部分に関する演習を予定している。実装に関しては、フルスクラッチでの実装を行うことで受講者には授業内容の定着を目指してもらう。『機械学習入門』で説明した内容に関しても、理論的な面から深掘りをしていくため、受講者は上記講習会の習得が望ましい。機械学習に関連した研究を行う上で、不可欠な知識を習得するとともに、最先端の手法に触れるうえでも受講者が役立てることのできる知識の提供を目的とする。なお、内容については受講者の習熟度を考慮し適宜変更する予定である。

2）各回の実施内容

第１回　線形代数の復習　10/16

機械学習について簡単に説明し、本講習会の全体的な流れをつかんでもらうことを目的とする。

また、本講義及び他の工学分野でも非常に重要な分野である線形代数について軽く講義を行う。具体的には固有値、固有ベクトル、対称行列や転置行列、対角化の内容を含む。

ただし、必要最低限本講習会を行う上で前提としてもらいたい概念にとどめ、可能であれば線形代数の参考書についても紹介する。PRML上巻の付録C相当の内容を予定している。

第２回　多項式回帰分析　10/23

まず曲線フィッティングに関して説明を行い、多項式関数の回帰分析について説明する。機械学習において重要な概念となる損失関数、過学習といった内容を含むとともに、第５回で説明するロジスティック回帰へ接続できるよう講義を行う。PRML上巻1章と3章に関連する。

第３回　確率統計の基礎（非ベイズ的確率）　10/30

機械学習で必要となる主要な数学分野である確率・統計について説明する。大学以前に扱っていた離散的確率から連続的確率への拡張、試行と実験に基づく非ベイズ的確率について簡単に説明を行う。

具体的には確率変数、確率分布、条件付き確率、確率密度関数、期待値、分散、独立といった概念の習得を目指す。

第４回　確率統計の基礎（ベイズ的確率、確率分布）　11/6

ベイズ確率について講義を行う。ベイズの定理に関連するベイズ確率論を網羅的に扱うとともに、確率分布についても簡単に復習を行う。また、第２回で扱う多項式回帰に対しベイズ推論の手法を用い、パラメータの事後分布、未知のデータに対する予測分布を求めることで、具体的な計算方法を体感してもらう。

第５回　尤度、ロジスティック回帰　11/13

生成モデルを理解するうえで非常に重要となる尤度という概念について説明するとともに、ベイズロジスティック回帰による確率モデルに関して議論を行う。変分推論への拡張のための前提議論をここで説明する。PRML上巻4章に対応する。

第６回　EMアルゴリズム　12/4

クラスタリングで最も根本的な概念であるk-meansクラスタリングについて説明を行ったうえで、EMアルゴリズムとの関係性について講義を行う。混合ガウス分布に関するEMアルゴリズムから、一般のEMアルゴリズムへと拡張して議論を行う。

第７回　変分推論　12/11

事後分布を近似的に求めることは、機械学習において最も根本的な問題の一つである。決定論的近似推論を行うための枠組みを理解する。第6回で行ったEMアルゴリズムを用いた方法を理解し、すべての確率変数についての完全な事後分布の近似手法を把握する。「決定的」「確率的」となる理由から理解することを目的とする。PRML10章に対応する。

第８回　変分推論　12/18

第７回に引き続き、変分推論法に対する理解を深める。この回では、第7回と対照的に局所的、すなわちモデルの各変数や変数軍の関数に対する推論となる局所的な方法についての理解を深める。データからハイパーパラメータの推論や、近似推論の実用的なアルゴリズムとなるEP法を理解する。PRML10章に対応する。

第９回　近似推論（MCMC、Metropolis-Hasting）

ある関数の確率分布のもとでの期待値評価を行う際に重要となる近似計算手法であるサンプリング法について整理を行う。基本的なサンプリングアルゴリズムについて触れたうえで、マルコフ性を利用したマルコフ連鎖モンテカルロ法について理解を深めることを目的とする。PRML11章に対応する。

第10回 近似推論（Gibbs sampling）

 Metropolis-Hasting法の拡張であるGibbs samplingについて理解する。また、各サンプリング法がどのような場合に有効であるのかについて説明を行う。時間に余裕があれば、すでに講義済みの項目に関して、さらに発展的な内容を提供する。